IRO, 에이전트 과학의 새 시험장

숨은 루브릭을 찾아가는 에이전트

Fulcrum Research의 Inverse Rubric Optimization 글은 에이전트 평가를 조금 다른 방식으로 본다. IRO는 에이전트가 숨겨진 평가 기준을 가진 블랙박스 심판을 상대로 점수를 올리는 과제다. 에이전트는 프롬프트나 스캐폴드를 제출하고, 제한된 라벨 예산 안에서 결과 점수를 관찰한 뒤, 최종 정책을 낸다. 즉 정답을 맞히는 시험이 아니라 "평가기준을 추론하고 실험하는 능력"을 보는 시험이다.

Fulcrum은 시 실험을 예로 들었다. 여러 시적 루브릭을 가진 심판 모델이 있고, 옵티마이저 에이전트는 Haiku 4.5 생성 모델에 줄 프롬프트를 바꿔가며 점수를 끌어올린다. 실험에는 Opus 4.6, GPT-5.5, Fable 5, Haiku 4.5가 등장한다. 흥미로운 점은 Fable 5가 적은 라벨 예산에서는 강하지만 큰 예산에서는 더 쓰지 않고 정체된다는 결과다. 장기 에이전트의 성능은 능력뿐 아니라 자원 사용 습관에 달린다.

점수보다 궤적이 중요하다

기존 벤치마크는 최종 답이 맞았는지를 본다. 하지만 실제 업무형 에이전트는 중간에 가설을 세우고, 도구를 호출하고, 실패를 해석하고, 언제 멈출지 결정한다. IRO는 이 궤적을 관찰하기 좋다. Fulcrum은 모델이 낮은 점수와 높은 점수의 샘플을 비교하고, 특정 스타일 가설을 세우고, 반례를 시험하는 모습을 분석했다. 한 Fable 5 실행은 어려운 Milton 루브릭에서 스타일 탐색, 점수 보정, 특징 채굴, 반례 테스트, 최종 검증의 단계를 밟았다.

Lunette나 agent eval을 다루는 Fulcrum의 다른 글과 마찬가지로, 이 연구는 에이전트 과학을 만들려는 시도다. Structured Output Benchmark, 운영형 LLM의 새 시험지에서 말한 운영형 평가가 출력 형식의 안정성을 본다면, IRO는 탐색과 학습의 안정성을 본다.

업무형 에이전트와 닮은 구조

왜 시 루브릭이 중요할까. 시 자체보다 구조가 중요하다. 실제 회사 업무에도 숨은 루브릭이 많다. 영업 리포트는 대표가 좋아하는 형식이 있고, 코드 리뷰는 팀의 암묵적 기준이 있으며, 고객 응대는 산업별 금지 표현이 있다. 에이전트는 처음부터 이 기준을 모른다. 몇 번의 피드백을 받고 어떤 특징이 점수에 영향을 주는지 학습해야 한다. 이것이 IRO와 닮았다.

도메인 지식, 에이전트 시대의 진짜 해자는 모델보다 업무 맥락이 경쟁력이라고 말했다. IRO는 그 맥락을 어떻게 배워가는지 측정하는 틀을 제공한다. 한국 기업이 사내 에이전트를 만들 때도 "정답률 90%"보다 "피드백 5회 안에 팀 기준을 얼마나 학습하는가"가 더 실질적인 지표일 수 있다.

자원을 다 쓰지 않는 모델의 문제

Fulcrum 결과에서 특히 중요한 대목은 모델이 주어진 라벨 예산을 최대한 쓰지 않는다는 점이다. Fable 5는 큰 예산을 받았을 때도 1000개 안팎에서 멈추며 정체했고, Opus 4.6은 더 큰 예산에서 개선을 이어갔다. 이는 에이전트 운영에서 자주 보는 문제다. 모델이 너무 빨리 확신하거나, 추가 검증의 가치를 낮게 보거나, 비용을 아끼는 듯 행동한다.

Uber 월 1500달러 AI 한도, 에이전트 비용의 기준선은 에이전트 비용 통제가 현실 문제가 됐다고 설명했다. 하지만 비용을 아끼는 것과 필요한 검증을 생략하는 것은 다르다. 에이전트 평가에는 최종 점수와 함께 "예산 대비 성능", "남긴 예산", "중단 근거"가 포함돼야 한다.

한국 AI 팀이 가져갈 설계 원칙

한국의 AI 제품팀은 고객지원, 문서 자동화, 코드 수정, 데이터 분석 에이전트를 만들고 있다. 이때 벤치마크 하나로 품질을 말하기 어렵다. 고객사는 자기 조직의 숨은 기준을 따르길 원하고, 모델은 피드백을 통해 그 기준을 배워야 한다. IRO식 테스트를 업무에 맞게 바꾸면 평가가 더 현실적이 된다. 예를 들어 계약서 검토 에이전트에는 숨은 리스크 루브릭을 두고, 데이터 분석 에이전트에는 임원 선호 리포트 루브릭을 두는 식이다.

BitBoard, 에이전트 분석을 대시보드로 고정하다가 에이전트 산출물을 워크북으로 남기자고 했다면, IRO는 그 산출물이 어떤 실험 과정을 거쳐 나왔는지 보자고 한다. 앞으로 좋은 에이전트 제품은 답만 보여주지 않는다. 어떤 가설을 세웠고, 어떤 피드백을 샘플링했고, 왜 멈췄는지를 함께 남긴다.

자주 묻는 질문

Q1: IRO는 무엇의 약자인가요?

A: Inverse Rubric Optimization이다. 숨은 평가 기준을 가진 심판의 선호를 제한된 피드백으로 학습해 최종 정책을 개선하는 과제다.

Q2: 왜 시 생성으로 실험했나요?

A: 시는 스타일 특징을 다양하게 조정할 수 있고, 부분 점수 루브릭을 만들기 쉬워 에이전트의 탐색 행동을 관찰하기 좋다.

Q3: Fable 5 결과가 의미하는 바는 무엇인가요?

A: 적은 라벨에서는 강했지만 큰 예산을 충분히 쓰지 않아 정체했다. 능력뿐 아니라 자원 활용 전략이 중요하다는 뜻이다.

Q4: 기업 업무 평가에도 쓸 수 있나요?

A: 가능하다. 숨은 품질 기준이 있는 보고서, 코드 리뷰, 계약 검토, 고객응대, 데이터 분석 업무에 응용할 수 있다.

Q5: 기존 벤치마크와 무엇이 다른가요?

A: 최종 답만 보지 않고 가설 생성, 피드백 사용, 반례 테스트, 중단 판단 같은 에이전트의 작업 궤적을 함께 본다.