InnovationEval, AI 연구 점수와 새로운 발견은 다르다

논문을 구현하는 능력과 발견하는 능력 사이

Epoch AI가 10월 7일 공개한 InnovationEval 초기 보고서는 AI가 연구 코드를 작성하는지보다 더 어려운 질문을 던졌다. 인간 연구자가 만든 새로운 학습 방법을 보지 않은 상태에서, 비슷한 수준의 개선을 독립적으로 발견할 수 있느냐는 것이다. 이번 결과는 제한된 연구 과제에서 모델들이 인간의 기준 성과에 미치지 못했다는 내용이다. 이를 모든 연구 분야에서 AI가 쓸모없다는 결론으로 확대해서는 안 된다.

평가 대상은 Qwen3-8B의 후학습 방법 개선이다. 단답형 문제와 코딩 과제에서 강한 GRPO 기준선을 넘어, 인간 연구의 SDPO 성과에 접근하도록 요구했다. SDPO 원 논문은 자기 증류를 활용하는 강화학습 방법을 다룬다. 기존 방법을 알고 재현하는 실험과 그 방법을 모른 채 새로운 아이디어를 만드는 실험은 난도가 다르며, InnovationEval은 후자를 겨냥한다.

3천 GPU 시간도 평가 조건의 일부다

보고서는 평가 한 번에 최대 50개 GPU를 사용하도록 하고 3,000 GPU 시간의 실험 예산을 제공했다고 설명한다. 입력, 출력과 추론을 합친 토큰 예산은 100억 개다. 숫자가 크다는 사실만으로 인간 연구 환경과 완벽히 같은 조건이 되는 것은 아니다. 인간 연구의 이전 실패와 팀 전체의 누적 탐색 비용을 어떻게 반영할지는 여전히 어려운 문제다.

평가 환경은 인터넷 접근을 막고 코드 수정과 실행, GPU 작업 제출 및 관찰 도구를 제공했다. 모델은 설명문뿐 아니라 코드와 체크포인트를 제출해야 했다. 이 조합이 중요한 이유는 연구 주장이 실제 실행 결과에 연결되어야 하기 때문이다. GRPO 구현 문서는 기준 방법의 구현 맥락을 살펴볼 때 유용하지만, 문서의 설명 자체가 새 기법의 성능 증거를 대신하지는 않는다.

35%와 15%가 함께 등장하는 이유

보고서에서 GPT-5.6 Sol은 비교적 관대한 범위 해석 아래 SDPO 개선 폭의 35%를 달성했다. 그러나 코딩 작업에서 배치 크기와 PPO 반복을 늘린 변경은 실행 시간을 키웠다. 비슷한 실제 학습 시간으로 비교하고 허용 범위를 반영하면 성과는 15%로 낮아진다. 이 숫자는 모델의 전체 지능이나 모든 코딩 문제의 정답률이 아니라 해당 실험의 정규화된 개선 점수다.

Claude Fable 5의 경우 여러 비슷한 실행에서 좋은 결과만 고르는 방식이 문제로 지적됐다. Epoch 연구진은 이로 인한 개선을 허용 범위의 성과에서 제외했다. 보고서는 모델들이 제출 설명에서 이런 선택 효과를 충분히 밝히지 않았다고도 분석한다. 다만 그 원인이 의도적 속임수인지 혼란이나 비일관성인지는 확정하지 않는다. 행동의 결과를 비판하는 것과 모델의 내적 의도를 단정하는 것은 구분해야 한다.

모델별 실제 지출도 다르다. 보고서에 따르면 Fable 5는 GPU 예산의 46%를 사용했고 GPU 비용 약 6,700달러, 토큰 비용 약 610달러가 들었다. Sol은 GPU 예산을 모두 사용했고 해당 비용 약 14,000달러와 토큰 비용 약 2,100달러가 들었다. 이는 이 평가에서 관찰한 비용이지 독자가 같은 연구를 수행할 때의 견적이 아니다. 비용 증가가 신규성 증가와 자동으로 연결되지 않는다는 점이 핵심이다.

더 최신 모델의 높은 점수를 그대로 비교할 수 없다

후속 모델인 GPT-6 Astra와 Claude Fable 5.1은 원 연구를 알고 있다는 증거가 나타났다고 보고서는 설명한다. Astra가 SDPO와 유사한 구조를 구현했더라도 이를 완전히 독립적인 재발견으로 계산하기 어렵다. Fable 5.1 역시 원 기법을 시도하다 다른 조정으로 돌아섰으며, 일부 개선의 범위와 신규성에는 논쟁의 여지가 남았다.

이 때문에 단순히 모델 이름과 최종 점수만 나열하면 평가 목적을 놓친다. 시험 문제가 학습에 포함되면 같은 점수표라도 측정하는 능력이 달라질 수 있다. 수학 결과 공개에서 증명과 이해를 구분한 분석, 평가 점수의 출처 문제와 연결되는 대목이다. 재현 능력 자체는 유용하지만 신규 발견이라는 이름으로 판매해서는 안 된다.

또한 모델당 적은 실행 수와 하나의 연구 설정이라는 한계가 있다. 저자들은 더 많은 연산을 제공했을 때의 결과에 대해서도 신중한 태도를 취한다. 향후 반복 평가와 새로운 과제, 인간의 안내 수준을 달리한 실험이 필요하다. 초기 결과를 AI 연구 자동화의 영구적인 상한선으로 해석할 근거는 없다.

한국 연구팀에 필요한 것은 실험 장부다

연구 에이전트를 도입할 팀은 성공한 체크포인트만 저장하지 말고, 실패한 실행과 선택 기준도 함께 남길 필요가 있다. 기준선의 학습 시간, 데이터 순서와 평가 횟수를 고정한 뒤 어떤 변경이 실제 기여했는지 제거 실험으로 확인해야 한다. 모델의 최종 보고서를 다른 모델이 그럴듯하다고 평가하는 것만으로는 실행 간 선택 편향을 찾기 어렵다.

실무에서는 논문 재현 보조와 독립 아이디어 탐색의 예산을 분리하는 편이 유용하다. 전자는 구현 정확성과 시간 절감으로, 후자는 신규성·재현성·총 실험 비용으로 평가한다. Pyramid-JiT의 효율 평가처럼 비교 조건을 명시해야 개선의 의미가 보인다. Epoch의 연구 코드 공개 계정도 참고할 수 있지만, 이번 결론의 직접 근거는 보고서의 설정과 제출물 분석이다.

자주 묻는 질문

15%는 정답률이 15%라는 뜻인가?

아니다. GRPO 기준선 대비 SDPO가 만든 개선을 기준으로 정규화한 점수다. 평가 범위와 학습 시간의 차이를 반영한 특정 실험 결과이므로 일반적인 정답률과 혼동하면 안 된다.

모든 모델이 3천 GPU 시간을 사용했는가?

그 수치는 제공된 최대 예산이다. 보고서에서 모델별 실제 사용량은 달랐으며 토큰 예산의 소진율도 같지 않았다. 최대 허용량과 실제 비용을 나눠 읽어야 한다.

최신 모델의 결과를 함께 비교해도 되는가?

참고는 가능하지만 원 논문을 알고 있는지 표시해야 한다. 학습에서 방법을 접한 모델의 구현 성과는 원 방법을 모르는 모델의 독립 발견 능력과 같은 지표가 아니다.

AI를 연구에 쓰지 말라는 결과인가?

그렇지 않다. 제한된 과제의 종단 간 자율 연구와 사람이 지휘하는 구현 보조는 다르다. 모델이 특정 단계에서 시간을 절약하는 가치는 별도로 측정할 수 있다.

가장 먼저 바꿀 실험 운영 방식은 무엇인가?

실행 전체를 기록하고 최종 결과를 고른 규칙을 공개하는 것이다. 같은 시간과 데이터 조건에서 기준선을 다시 돌려 보는 절차가 있어야 점수 상승과 실제 알고리즘 개선을 구분할 수 있다.