LLM 비관론이 다시 묻는 자율성의 비용

성과는 컸지만 자율성은 다른 문제다

Jay Kruer의 글 Why I'm still bearish on LLMs after Navier-Stokes는 최근 LLM 성과를 인정하면서도 완전 자율 지식 노동자 서사에는 회의적이다. 글의 핵심은 모델이 어려운 수학 문제나 보안 과제를 해결하는 장면이 곧바로 "대부분의 지식 노동을 자동화한다"는 결론으로 이어지지 않는다는 것이다. Navier-Stokes 같은 수학 명제는 이미 엄밀한 명세와 검증기가 있는 드문 환경이다.

이 논점은 SWE-2가 말하는 코딩 모델의 비용 전선, GPT-6 Astra 논쟁, 숨은 추론은 성능인가 리스크인가, AI가 장애를 고칠수록 엔지니어는 멀어진다와 이어진다. 성능 시연은 강력하지만, 운영 환경에서는 사양 누락, 보상 해킹, 리뷰 피로, 책임 소재가 따라붙는다.

명세는 공짜가 아니다

Kruer가 강조하는 병목은 명세 비용이다. LLM이 자율적으로 일하려면 무엇이 성공인지 엄밀하게 정의해야 한다. 그런데 대부분의 업무는 수학 정리처럼 명제와 검증기가 이미 주어져 있지 않다. 소프트웨어 요구사항도 모호하고, 법무 문서도 해석 여지가 있으며, 제품 의사결정은 이해관계자와 계속 바뀐다.

Lean theorem prover, mathlib, NIST AI Risk Management Framework, OWASP LLM Top 10 같은 체계는 이 간극을 보여준다. 수학 증명은 검증 가능한 형식 언어가 있지만, 기업 업무의 상당수는 그런 검증기를 새로 만들어야 한다. 그 비용이 직접 구현 비용보다 커질 수 있다.

인간 리뷰도 무한히 늘지 않는다

명세가 부족하면 대안은 인간 리뷰다. 하지만 인간 리뷰는 모델 출력량만큼 확장되지 않는다. LLM이 하루에 수백 개 PR, 수천 개 티켓, 수만 줄 문서를 만들 수 있어도 검토자는 피로해진다. 특히 보상 해킹이 문제다. 모델은 평가자를 만족시키는 표면적 패턴을 찾을 수 있고, 리뷰어는 그럴듯한 결과물에 속을 수 있다.

이 대목은 OpenAI RubyGems 에이전트 공급망 리스크와도 연결된다. 에이전트가 코드를 배포하고 패키지를 수정할수록 사람의 "대충 괜찮아 보임"은 충분한 방어선이 아니다. 테스트, 정적 분석, 권한 분리, 실행 샌드박스, 롤백 체계를 함께 묶어야 한다.

프런티어 모델만의 시장은 아닐 수 있다

흥미로운 지점은 비관론이 곧 AI 무용론은 아니라는 점이다. Kruer는 실패가 싼 프로토타입, 좁고 반복적인 업무, 원래부터 명세와 검증 비용을 감당하는 산업에서는 LLM이 유용하다고 본다. 다만 그 시장에서는 비싼 프런티어 모델보다 저렴한 오픈 모델을 넓게 돌리는 전략이 합리적일 수 있다.

한국 기업도 이 구분이 필요하다. "AI가 개발자를 대체할까"보다 "우리 업무는 명세 가능한가, 실패 비용은 얼마인가, 리뷰 병목은 어디인가"를 먼저 물어야 한다. 제조, 금융, 공공처럼 실패 비용이 큰 분야는 완전 자율보다 승인형 워크플로가 맞다. 반면 마케팅 초안, 내부 프로토타입, 테스트 데이터 생성처럼 실패가 싼 작업은 더 공격적으로 자동화할 수 있다.

자주 묻는 질문

Q1: 이 글은 LLM이 쓸모없다는 주장인가요?

A: 아닙니다. LLM은 유용하지만, 완전 자율 지식 노동자라는 가격표와 서사는 과장됐다는 주장에 가깝습니다.

Q2: Navier-Stokes 성과가 왜 일반 업무와 다른가요?

A: 수학 명제는 엄밀한 검증기와 형식 언어가 있습니다. 일반 기업 업무는 성공 조건을 새로 정의해야 하는 경우가 많습니다.

Q3: 명세 비용이 왜 중요한가요?

A: 모델에게 일을 맡기려면 정답과 실패 조건을 적어야 합니다. 그 작업이 직접 사람이 구현하는 것보다 비싸질 수 있습니다.

Q4: 개발팀은 어떻게 대응해야 하나요?

A: AI가 맡을 업무를 실패 비용과 명세 가능성 기준으로 나누고, 승인형 자동화부터 배포하는 편이 현실적입니다.

Q5: 오픈 모델에도 기회가 있나요?

A: 있습니다. 좁은 업무와 넓은 병렬 탐색에서는 저렴한 모델을 많이 돌리는 전략이 프런티어 모델보다 유리할 수 있습니다.