AI 그림 대결, 에이전트 평가가 된 색연필 실험

그림 실험이 벤치마크가 되는 이유

TryAI는 2026년 7월 21일 GPT-5.6 Sol, Claude Fable 5, Grok 4.5, Gemini 3.6 Flash에 같은 색연필 도구를 주고 모나리자와 별이 빛나는 밤을 재현하게 했다. 모델은 빈 캔버스에서 색, 브러시, 압력, 선, 번짐, 지우기, 캔버스 보기 도구를 호출했다. 하네스는 canvas-arena GitHub 저장소에 공개되어 있고, TryAI는 Hacker News 토론에서도 이 실험의 성격을 설명했다.

겉으로는 가벼운 AI 그림 놀이지만, 실제로는 장기 실행 에이전트 평가에 가깝다. 모델은 한 번에 이미지를 생성하는 확산 모델이 아니라, 도구를 호출해 그림을 조금씩 만들고 중간 결과를 보며 수정한다. 즉 "시각적 목표를 유지하는가", "도구를 효율적으로 쓰는가", "자기 평가 후 멈출 수 있는가"를 보는 실험이다. SSIM 같은 구조적 유사도 지표는 예술성을 측정하지 못하지만, 진행 중인 작업이 목표에서 멀어지는지 보는 신호로는 쓸 수 있다.

숫자가 말하는 이상한 역설

TryAI 집계에서 GPT-5.6 Sol은 7개 그림에 평균 29단계, 총 토큰 340만 개, 추정 7.74달러를 썼다. Claude Fable 5는 평균 54단계, 1천460만 토큰, 추정 160.58달러였다. Grok 4.5는 3천400만 토큰을 썼지만 캐시 비중이 높아 비용은 9.21달러로 추정됐다. Gemini 3.6 Flash는 2천770만 토큰, 12.87달러였다. 비용과 품질이 단순히 비례하지 않는다는 점이 가장 흥미롭다.

더 중요한 현상은 자기검토의 역설이다. TryAI에 따르면 8개 목표 재현 실행 모두에서 최종 그림은 중간 최고점보다 낮은 SSIM으로 끝났다. Gemini 3.6 Flash는 모나리자에서 0.449까지 올랐다가 최종 0.337로 내려갔다. GPT-5.6 Sol도 모나리자에서 0.352를 찍고 0.325로 마무리했다. 이는 Fable 5 목표 모드의 한계에서 본 문제와 닮았다. 에이전트는 개선을 계속하려 하지만, 언제 멈춰야 하는지 잘 모를 수 있다.

한국 개발자에게 주는 평가 설계 힌트

이 실험은 사내 에이전트 평가에도 그대로 옮길 수 있다. 예를 들어 코딩 에이전트가 테스트를 통과한 커밋을 만든 뒤 계속 리팩터링하다가 실패를 만들 수 있다. 문서 에이전트가 초안의 정확도를 높인 뒤 과한 요약으로 법적 문구를 날릴 수도 있다. 콜센터 에이전트가 고객 의도를 잘 잡았다가 후속 질문에서 불필요한 확신을 붙일 수도 있다. 에이전트에는 "더 하기"보다 "그만하기" 기준이 필요하다.

한국 팀은 평가 하네스에 세 가지 기능을 넣어야 한다. 첫째, 중간 결과를 저장하고 가장 좋은 버전을 선택하는 best-of-trajectory 기준이다. 둘째, 일정 점수 이후 개선 폭이 작으면 멈추는 조기 종료다. 셋째, 비용 상한을 넘으면 상위 모델로 바꾸거나 사람에게 넘기는 라우팅이다. GPT-5.6 전환 평가 하네스와 에이전트 API 명시성이 같은 방향을 가리킨다.

창작 능력보다 운영 능력

이 실험을 "AI가 예술을 이해하나"로 읽으면 논점이 흐려진다. 색연필 도구를 쓰는 모델은 실제 이미지 생성기와 다르다. 하지만 업무 에이전트도 비슷하게 제한된 도구를 가지고 불완전한 피드백을 보며 목표에 접근한다. 그래서 그림 품질보다 도구 사용 패턴, 실패 후 복구, 비용 대비 개선, 중단 기준이 더 중요하다.

The Register나 학술 커뮤니티에서 자주 논의되는 모델 평가 문제는 지표가 실제 사용성을 포착하지 못한다는 점이다. TryAI 실험도 같은 한계를 안고 있다. SSIM은 사람이 보기에 좋은 그림을 보장하지 않고, 사람 선호는 재현 가능성이 낮다. 하지만 지표가 부족하다고 평가를 포기할 수는 없다. 오히려 여러 지표와 작업 로그를 함께 봐야 한다.

결론

모나리자 색연필 실험은 재미있는 시각 자료이지만, 그 안에는 에이전트 시대의 진짜 문제가 들어 있다. 모델은 목표를 향해 반복할 수 있지만, 자기 작업을 평가하고 멈추는 능력은 아직 약하다. 한국 기업이 업무 에이전트를 도입할 때도 "스스로 개선한다"는 문구보다 중간 산출물 저장, 롤백, 조기 종료, 비용 상한을 먼저 설계해야 한다.

자주 묻는 질문

Q1: 이 실험이 이미지 생성 모델 성능을 뜻하나요?

A: 아니다. 확산 모델 이미지 생성이 아니라 도구 호출형 에이전트의 시각 작업 수행을 본 실험이다.

Q2: SSIM 점수가 높으면 더 좋은 그림인가요?

A: 구조적으로 더 비슷할 수는 있지만 사람이 느끼는 품질이나 예술성과는 다를 수 있다.

Q3: 왜 최종 결과가 중간 최고점보다 나빠졌나요?

A: 모델이 개선을 멈출 기준을 잘 잡지 못하고 계속 수정하면서 목표에서 벗어난 것으로 해석할 수 있다.

Q4: 기업 업무에 어떤 관련이 있나요?

A: 코딩, 문서, 분석 에이전트도 반복 수정 중 품질을 떨어뜨릴 수 있다. 중간 최고 결과를 저장하고 비교해야 한다.

Q5: 가장 중요한 제품 기능은 무엇인가요?

A: 에이전트의 모든 중간 산출물을 평가하고, 필요하면 이전 버전으로 되돌리는 trajectory 관리 기능이다.