OpenRouter 배틀로얄, 에이전트 평가의 빈틈
에이전트 모델은 지식 점수보다 목표 함수와 비용 함수에 더 민감하다. 같은 모델도 협력, 생존, 공격, 비용 중 무엇을 보상하느냐에 따라 완전히 다른 제품 선택이 된다.
AI 뉴스를 놓치지 마세요
매주 핵심 AI 소식을 이메일로 받아보세요.
30게임이 보여준 이상한 순위표
OpenRouter의 Royale: Last Agent Standing 실험은 장난처럼 보이지만 에이전트 평가에는 꽤 날카로운 질문을 던진다. 11개 LLM을 400제곱미터 2D 배틀로얄 환경에 넣고 30게임을 돌렸더니, Grok 4.1 Fast가 13승을 거뒀다. Claude Sonnet 4.6은 5승을 했지만 협력을 제안하고 위치를 노출하는 장면이 많았다. GPT 5.4는 38킬로 가장 공격적이었지만 우승 수는 2회였다.
핵심은 "누가 더 똑똑한가"가 아니다. 게임의 보상 함수가 생존과 최종 승리에 맞춰져 있을 때, 일반 벤치마크에서 높은 모델이 꼭 좋은 선택은 아니었다. OpenRouter가 함께 공개한 리플레이 앱을 보면 모델별 성향이 숫자보다 선명하게 드러난다. 이 흐름은 Fable 5 벤치마크, 코딩 에이전트의 채점 공백이 지적한 문제와 이어진다. 점수는 평가하려는 작업의 세계관을 반영할 때만 제품 의사결정에 쓸 수 있다.
정렬 비용은 비용표에도 나타난다
OpenRouter 글에서 가장 흥미로운 수치는 승률만이 아니다. Grok 4.1 Fast는 30게임에서 12.57달러를 썼고 13승을 기록해 승리당 비용이 0.97달러였다. Claude Sonnet 4.6은 133.90달러를 쓰고 5승, 승리당 26.78달러였다. 같은 실험에서 GPT 5.4는 122.87달러를 쓰고 2승에 그쳤다. 이 숫자는 모델 가격표와 벤치마크 리더보드가 실제 업무 비용을 충분히 설명하지 못한다는 뜻이다.
| 평가 축 | 전통 벤치마크 | 배틀로얄 실험 | 제품팀이 물어야 할 질문 |
|---|---|---|---|
| 지능 | 정답률, 추론 점수 | 규칙 이해와 상황 판단 | 우리 업무의 보상은 무엇인가 |
| 성향 | 거의 측정 안 됨 | 협력, 공격, 회피가 드러남 | 모델 성격이 업무 목표와 맞는가 |
| 비용 | 토큰 단가 중심 | 목표 달성당 비용 | 실패한 저가 모델이 더 비싸지 않은가 |
| 기억 | 정적 테스트 | 경기별 메모리 누적 | 장기 작업에서 나쁜 습관을 강화하지 않는가 |
OpenRouter 모델 랭킹이나 공개 벤치마크는 여전히 유용하다. 다만 라우팅 고객에게 더 중요한 수치는 "1회 성공에 얼마가 드는가"다. 집에서 AI 코딩, 구독과 API의 손익분기점이 개인 개발자의 비용 계산을 다뤘다면, 이번 사례는 기업 라우팅에서도 같은 계산이 필요함을 보여준다.
협력적인 모델은 나쁜 모델인가
Claude가 게임 안에서 협력을 제안했다는 사실을 단순히 약점으로 보면 안 된다. Anthropic의 Claude 문서가 강조하는 유용성, 안전성, 협력성은 실제 업무에서는 장점이다. 고객지원, 의료 문서, 법무 검토, 사내 지식 검색처럼 피해 비용이 큰 영역에서는 무작정 승리 지향적인 모델보다 조심스러운 모델이 낫다.
문제는 모델의 성향이 작업마다 달라야 한다는 점이다. 배틀로얄은 제로섬 게임이고, 고객지원은 관계 유지 게임이며, 코딩 에이전트는 검증과 수정을 반복하는 게임이다. Claude 성격 논쟁, 정렬의 부작용을 묻다는 안전과 친절의 균형이 대화 품질을 흔들 수 있다고 봤다. 이번 실험은 그 균형이 대화 톤을 넘어 성과 지표와 비용표에까지 들어온다는 신호다.
한국 기업의 라우팅 전략
한국 기업이 모델을 고를 때 흔한 실수는 "가장 최신 모델 하나"를 전체 업무에 붙이는 것이다. 하지만 고객문의 분류, 견적서 추출, 코드 수정, 위험 문서 검토, 내부 검색은 서로 다른 게임이다. 각 업무마다 성공 정의, 실패 비용, 허용 가능한 공격성, 재시도 가능성, 감사 필요성이 다르다. 따라서 모델 선택도 고정 구매가 아니라 라우팅 정책이어야 한다.
Age of Empires II가 던진 LLM 의인화 경고가 말했듯 게임 실험은 모델에 인간 성격을 붙이기 위한 장치가 아니다. 오히려 모델이 어떤 환경 신호에 반응하는지 보기 위한 압력 테스트다. 한국 SaaS와 SI 기업은 자체 업무를 작은 시뮬레이션으로 바꿔야 한다. 고객 티켓 100건, 실패한 배포 30건, 계약서 예외 50건을 재현하고 모델별 목표 달성당 비용을 재면 된다.
자주 묻는 질문
Q1: 게임 실험을 실제 업무 평가로 봐도 되나요?
A: 그대로 일반화하면 안 된다. 다만 목표 함수, 비용, 모델 성향이 결과를 바꾼다는 점은 실제 에이전트 운영에도 적용된다.
Q2: Grok이 Claude보다 낫다는 뜻인가요?
A: 아니다. 제로섬 게임에서는 Grok의 성향이 유리했지만, 협력과 안전이 중요한 업무에서는 Claude 계열의 장점이 더 클 수 있다.
Q3: 기업은 어떤 지표를 새로 봐야 하나요?
A: 토큰당 가격보다 작업 성공당 비용, 재시도 횟수, 실패 유형, 정책 위반률, 감사 가능성을 함께 봐야 한다.
Q4: 공개 벤치마크는 쓸모가 없나요?
A: 여전히 1차 필터로 유용하다. 다만 최종 선택은 회사의 실제 업무 로그로 만든 평가 세트에서 해야 한다.
Q5: 라우팅은 언제 필요해지나요?
A: 업무별 실패 비용이 다르고 모델 비용 차이가 크며, 한 모델이 모든 작업에서 안정적으로 이기지 못할 때 필요하다.
관련 토픽 더 보기
📰 원본 출처
openrouter.ai이 기사는 AI 기술을 활용하여 작성되었으며, 원본 뉴스 소스를 기반으로 분석 및 해설을 추가한 콘텐츠입니다. 정확한 정보 전달을 위해 노력하고 있으나, 원본 기사를 함께 확인하시기를 권장합니다.