AI 벤치마크 포화, 순위표 시대가 끝나간다

거의 절반의 벤치마크가 포화됐다

When AI Benchmarks Plateau는 2026년 2월 제출되고 6월 v3로 갱신된 ICML 2026 채택 논문이다. 저자들은 60개 언어모델 벤치마크를 14개 속성으로 분석했고, 거의 절반이 포화 양상을 보인다고 밝혔다. 벤치마크 포화란 모델들이 높은 점수대에 몰려 더 이상 모델 간 차이를 잘 구분하지 못하는 상태다.

이 연구의 결론은 단순히 오래된 시험을 버리자는 말이 아니다. 논문은 전문가 큐레이션이 포화 저항성에 영향을 준다고 보고, 공개 테스트 데이터 여부만으로는 오래가는 평가를 설명하기 어렵다고 말한다. AI 추론 논쟁, 정답보다 이유를 검증해야 한다가 보여준 것처럼 점수는 맞았는데 이유가 틀린 모델을 구분하려면 평가 설계가 더 섬세해야 한다.

리더보드는 왜 빨리 낡는가

벤치마크는 공개되는 순간 모델 개발의 목표가 된다. 연구자는 약점을 분석하고, 데이터는 학습 코퍼스 주변으로 흘러 들어가고, 모델 제공자는 점수 개선에 최적화한다. 시간이 지나면 리더보드 상위 모델들이 비슷한 점수에 모이고, 사용자 입장에서는 어떤 모델이 실제 업무에 더 나은지 알기 어려워진다.

HELM과 LMSYS Chatbot Arena는 각각 표준화 평가와 사람 선호 비교를 제공한다. OpenAI Evals와 EleutherAI LM Evaluation Harness는 자체 평가를 만드는 기반을 제공한다. 문제는 도구가 없다는 것이 아니라 기업이 공개 점수와 내부 실패 조건을 혼동한다는 데 있다.

한국 기업의 구매 방식도 바뀌어야 한다

모델 도입 의사결정은 아직도 최신 모델명과 벤치마크 순위에 크게 흔들린다. 하지만 고객센터, 법무 검토, 코드 리뷰, 제조 품질 분석, 금융 상담은 서로 다른 실패 비용을 가진다. 어떤 업무는 정확도가 중요하고, 어떤 업무는 근거 출처와 개인정보 처리, 어떤 업무는 지연 시간과 토큰 비용이 더 중요하다. LLM은 전문성을 더 크게 보상한다는 모델 활용의 차이가 도메인 검증 역량에서 나온다고 봤다. 평가도 마찬가지다.

NIST AI Risk Management Framework는 위험을 맥락 안에서 식별하고 측정하라고 요구한다. 이는 벤치마크 포화 이후의 현실과 잘 맞는다. 공개 점수는 후보를 좁히는 도구일 뿐, 실제 도입 판단은 회사 데이터, 승인 기준, 실패 사례, 감사 요구사항으로 만든 평가 세트가 해야 한다.

에이전트 평가는 더 빨리 포화된다

코딩 에이전트와 업무 에이전트의 벤치마크는 더 복잡하다. 모델이 정답 하나를 내는 것이 아니라 저장소를 읽고, 도구를 호출하고, 테스트를 실행하고, 실패하면 전략을 바꾼다. 그래서 단일 점수는 문제 해결력보다 환경 운을 반영할 수 있다. LLM 코딩은 10배가 아니라 2배에 가깝다는 생산성의 핵심을 피드백 루프로 봤는데, 에이전트 평가도 루프의 품질을 재야 한다.

과학 코드로 들어간 에이전트, 검증이 핵심이다에서처럼 검증 가능한 절차가 있어야 에이전트 결과를 믿을 수 있다. 앞으로 좋은 평가 시스템은 최종 답뿐 아니라 도구 사용 횟수, 재시도, 비용, 실패 원인, 사람이 개입한 지점을 함께 기록할 것이다. 포화된 벤치마크의 대안은 더 큰 리더보드가 아니라 더 좋은 관측성이다.

자주 묻는 질문

Q1: 벤치마크 포화는 모델 발전이 멈췄다는 뜻인가요?

A: 아니다. 기존 시험이 모델 차이를 구분하지 못한다는 뜻에 가깝다.

Q2: 공개 리더보드를 보지 말아야 하나요?

A: 봐야 한다. 다만 구매나 배포 결정을 공개 점수 하나에 의존하면 안 된다.

Q3: 내부 평가는 어떻게 시작하나요?

A: 실제 업무 실패 사례 50개에서 200개를 모으고, 정답뿐 아니라 허용 가능한 근거와 금지 행동을 함께 정의하는 방식이 좋다.

Q4: 전문가 큐레이션이 왜 중요한가요?

A: 전문가가 만든 문제는 단순 패턴 암기보다 실제 개념 이해와 예외 처리를 더 잘 요구하기 때문이다.

Q5: 에이전트 평가는 무엇을 추가로 봐야 하나요?

A: 최종 성공률뿐 아니라 도구 호출 비용, 재시도 횟수, 테스트 통과 여부, 위험한 행동 시도, 사람 개입 필요성을 함께 봐야 한다.