Fable 5와 GPT-5.6, 목표 모드의 한계

/goal은 마법 주문이 아니다

Charles Azam의 실험은 코딩 에이전트 평가에서 보기 드문 장점을 갖고 있다. 미공개 NP-hard 네트워크 최적화 문제를 Claude Fable 5와 GPT-5.6 Sol에 주고, 일반 실행과 네이티브 /goal 모드를 나눠 비교했다. 저자는 코드, 프롬프트, 결과 테이블을 CLIArena 저장소에 공개했고, 이전 KIRO 벤치마크 글의 후속편으로 배치했다.

결과는 직관과 다르다. /goal은 6회 중 4회 더 나은 점수를 냈지만, 평균은 두 모델 모두 나빠졌다. 한 번 크게 잘못된 탐색 경로로 들어가면 추가 시간이 손실을 키운 것이다. Claude Code 토큰세에서 봤듯이 에이전트의 비용은 호출 횟수와 시간에 비례한다. 오래 돌리는 기능은 생산성 기능이 아니라 비용과 실패 확률을 함께 키우는 기능일 수 있다.

Fable 5가 강했던 이유

실험에서 Fable 5는 최고 점수와 안정성 모두에서 GPT-5.6 Sol보다 앞섰다. 특히 plain 모드의 분산이 작았다는 점이 중요하다. 기업 환경에서는 최고점보다 최저점과 분산이 더 중요하다. 한 번의 멋진 성공보다 매번 비슷한 수준의 결과를 내는 모델이 운영에 더 적합하기 때문이다.

Anthropic의 goal 문서와 OpenAI Codex CLI 소스를 대조한 저자의 분석도 흥미롭다. 같은 /goal 명령처럼 보여도 Claude Code는 별도 평가자 훅에 가깝고, Codex는 목표 상태를 저장하고 이어가는 런타임 도구에 가깝다. 사용자에게 같은 이름으로 노출되는 기능이 실제로는 완전히 다른 제어 구조일 수 있다는 뜻이다.

벤치마크가 말하는 실무 기준

이 실험은 모델 순위표보다 에이전트 운영 기준을 더 잘 보여준다. 첫째, 작업을 해결했는지뿐 아니라 몇 분 동안 어떤 탐색을 했는지 기록해야 한다. 둘째, 목표 모드는 제품 옵션이 아니라 정책이다. 어떤 조건에서 계속 돌리고, 언제 멈추고, 어떤 중간 산출물을 저장할지 정해야 한다. 셋째, 한 문제에서 이긴 설정이 다른 문제에서도 이긴다고 볼 수 없다.

GPT-5.6 전환 평가 하네스와 에이전트 시대 API 설계가 같은 결론을 가리킨다. 좋은 에이전트 도입은 모델 교체가 아니라 평가 계약의 설계다. 국내 개발팀이 코딩 에이전트를 도입할 때도 "최신 모델로 바꾸자"보다 "우리 문제에서 plain, goal, human-in-loop를 어떻게 비교할 것인가"가 먼저다.

한국 개발팀의 실행 체크

실무 적용에서는 세 가지 지표가 필요하다. 작업당 총 토큰과 시간, 성공률의 평균과 분산, 실패 시 복구 비용이다. 특히 최적화나 리팩터링처럼 정답 공간이 넓은 작업은 모델이 더 오래 일할수록 좋아진다는 보장이 없다. 테스트가 통과해도 구조가 나빠졌을 수 있고, 점수가 좋아져도 유지보수 비용이 커질 수 있다.

따라서 목표 모드는 기본값으로 켜기보다 고난도 작업의 별도 모드로 둬야 한다. 예를 들어 20분 안에 테스트가 개선되지 않으면 중단하고, 2회 연속 같은 전략을 반복하면 사람에게 넘기며, 중간 결과를 diff와 로그로 남기는 식이다. ReasonGate의 프롬프트 방화벽처럼 설명 가능한 게이트가 붙어야 에이전트가 조직 안에서 신뢰를 얻는다.

자주 묻는 질문

Q1: /goal을 켜면 항상 더 좋은 결과가 나오나요?

A: 아니다. 이번 실험에서는 이긴 횟수는 많았지만 평균은 나빠졌다. 큰 실패 한 번이 작은 개선 여러 번을 지울 수 있다.

Q2: Fable 5가 GPT-5.6보다 무조건 낫다는 뜻인가요?

A: 아니다. 이 NP-hard 최적화 문제에서는 Fable 5가 강했지만 다른 도메인에는 별도 평가가 필요하다.

Q3: 기업은 어떤 설정을 기본값으로 삼아야 하나요?

A: 비용 예측이 중요한 업무는 일반 실행을 기본으로 두고, 목표 모드는 명확한 중단 조건이 있는 고난도 업무에 제한하는 편이 낫다.

Q4: 왜 분산이 중요한가요?

A: 에이전트는 자동으로 반복 실행되기 때문에 평균보다 꼬리 실패가 운영비를 좌우한다. 안정적인 모델이 더 실용적일 때가 많다.

Q5: 이 실험을 어떻게 재현해야 하나요?

A: 공개 저장소의 프롬프트와 결과표를 확인하되, 사내 문제에서는 같은 시간 예산, 같은 평가 스크립트, 같은 중단 규칙으로 다시 측정해야 한다.