67센트 ARC 결과, 작은 모델의 반격

44%와 67센트가 함께 중요하다

Mithil Vakde의 글은 작은 트랜스포머를 RTX 5090에서 약 1.5시간 처음부터 학습해 ARC-AGI-1 공개 평가 44%를 얻었다고 주장한다. 전체 생애 계산 비용은 67센트로 제시했고, ARC-AGI-2에서는 7%를 기록했다고 밝혔다. 코드는 GitHub 저장소에 공개됐다.

이 뉴스의 핵심은 "대형 LLM을 이겼다"는 자극적인 문장이 아니다. 더 중요한 것은 샘플 효율이다. ARC는 적은 예시에서 추상 규칙을 찾아야 하는 벤치마크로 설계됐다. 대규모 사전학습과 합성 데이터로 점수를 끌어올리는 방식이 아니라, 적은 퍼즐과 제한된 계산으로 어디까지 갈 수 있는지가 연구 질문이다. ARC Prize가 이 분야를 계속 밀어 올리는 이유도 여기에 있다.

코드로 그림 그리는 AI, RL의 보상은 디자인 문제다는 작은 환경에서 보상과 표현 설계가 모델 행동을 크게 바꾼다고 봤다. ARC 결과도 비슷하다. 거대한 모델 이름보다 데이터 표현, 위치 임베딩, 학습 방식이 성능의 대부분을 좌우할 수 있다.

이 결과는 트랜스포머가 아직 끝나지 않았다는 주장이다

Vakde의 접근은 각 퍼즐의 입력과 출력을 토큰 시퀀스로 바꾸고, 작은 트랜스포머를 테스트 시간에 처음부터 학습시키는 방식이다. 그는 3D RoPE, 퍼즐별 additive embedding, 색상과 dihedral 변환, SwiGLU, RMSNorm, NorMuon, flash attention과 packed varlen training 같은 개선을 적용했다고 설명한다. 가장 큰 성능 기여는 3D RoPE와 퍼즐별 임베딩 같은 표현 설계에서 나온 것으로 보인다.

흥미로운 점은 저자가 재귀 구조가 반드시 핵심은 아니라고 주장한다는 것이다. HRM과 TRM 계열의 접근은 재귀와 deep supervision을 강조했지만, 이 결과는 단순한 트랜스포머도 적절한 표현과 학습 절차를 갖추면 비슷한 구간에 도달할 수 있음을 시사한다. 물론 공개 평가와 비교 방식, 데이터 누수 방지, 증강 사용에 대한 논쟁은 계속 확인해야 한다.

테스트 타임 트레이닝 논쟁은 더 정교해져야 한다

이 결과를 둘러싼 논쟁은 "테스트에 학습하면 부정행위인가"로 단순화되기 쉽다. 하지만 ARC는 각 퍼즐의 예시 입출력 쌍을 보고 규칙을 추론하는 문제다. 테스트 레이블을 보지 않는다면, 평가 시점의 입력과 예시에서 학습하는 것은 transduction과 메타러닝의 경계에 있는 정당한 연구 질문이 될 수 있다. 다만 공개 리더보드, 사전학습 데이터, 합성 데이터, 평가 퍼즐 중복 여부를 엄격히 다뤄야 한다.

AI 벤치마크 포화, 평가는 계속 리셋된다와 같은 내부 맥락이 없다면 이 결과를 너무 빨리 일반화하기 쉽다. 공개 평가가 인터넷에 오래 노출되면 LLM 점수는 오염될 수 있고, 특화 모델은 평가 규칙을 둘러싼 해석 차이를 낳는다. 그래서 이 분야에는 점수표보다 재현 가능한 코드, ablation, 비공개 평가, 비용 계산 방식이 더 중요하다.

François Chollet의 원 논문은 ARC를 인간 수준의 추상화와 효율적 일반화 문제로 제안했다. 6년 가까이 논쟁이 이어지는 이유는 바로 이 질문이 아직 완전히 풀리지 않았기 때문이다.

한국 연구자에게는 접근성의 신호다

프런티어 모델 연구는 점점 거대 자본의 영역처럼 보인다. 수만 장 GPU, 독점 데이터, 폐쇄형 평가가 중심이 되면 개인 연구자와 작은 연구실은 주변부로 밀린다. 그러나 ARC처럼 작은 데이터와 공개 코드가 중요한 문제에서는 다른 경쟁 축이 생긴다. 한 장의 고성능 GPU와 치밀한 실험 설계로 의미 있는 결과를 낼 수 있다면, 연구 접근성 자체가 회복된다.

한국 대학 연구실, 독립 연구자, 스타트업 R&D 팀에는 이 방향이 현실적이다. 더 큰 모델을 따라잡는 대신, 특정 추론 구조, 데이터 효율, 로컬 학습, 평가 자동화에 집중할 수 있다. 로컬 LLM 품질, 모델보다 실행 스택이 흔든다는 로컬 실행 스택이 성능을 크게 바꾼다고 설명했다. ARC 연구에서도 구현 세부사항과 실행 효율이 결과를 좌우한다.

벤치마크 점수보다 ablation 문화가 중요하다

Vakde의 글에서 특히 좋은 부분은 여러 ablation을 공개했다는 점이다. 3D RoPE를 1D로 바꾸거나 퍼즐별 임베딩을 제거하면 점수가 약 24% 수준으로 떨어졌고, CompressARC 스타일의 변형은 더 낮은 점수를 냈다고 설명한다. 이런 결과는 논문식 주장보다 실무 연구자에게 더 유용하다. 어떤 구성요소가 실제로 비용 대비 효과가 있는지 보여주기 때문이다.

앞으로 필요한 것은 비공개 평가에서의 검증, 비용 계산의 표준화, 합성 데이터 제한 조건의 명확화다. 그래도 이번 결과는 중요한 질문을 남긴다. 더 큰 모델이 항상 더 좋은가, 아니면 문제 구조를 제대로 표현한 작은 모델이 특정 영역에서 훨씬 효율적일 수 있는가. 67센트라는 숫자는 바로 그 질문을 날카롭게 만든다.

자주 묻는 질문

Q1: ARC-AGI는 무엇을 평가하나요?

A: 적은 예시에서 추상 규칙을 찾아 새로운 입력에 적용하는 능력을 평가하려는 벤치마크입니다. 일반적인 지식 암기보다 샘플 효율과 추론 구조가 중요합니다.

Q2: 44% 점수는 AGI에 가까워졌다는 뜻인가요?

A: 아닙니다. 특정 벤치마크에서 의미 있는 진전이라는 뜻이지, 일반 지능이 해결됐다는 의미는 아닙니다.

Q3: 왜 67센트가 중요한가요?

A: 낮은 비용이면 개인 연구자도 반복 실험과 ablation을 할 수 있습니다. 연구 접근성과 검증 속도가 크게 달라집니다.

Q4: 테스트 타임 트레이닝은 부정행위인가요?

A: 테스트 정답을 학습하면 부정행위입니다. 그러나 입력과 제공된 예시에서 학습하는 방식은 ARC의 메타러닝 성격 안에서 논쟁 가능한 연구 방식입니다.

Q5: 한국 연구자는 무엇을 배울 수 있나요?

A: 대형 모델 경쟁만 보지 말고, 작은 데이터셋에서 표현 설계, 학습 절차, 비용 측정, 재현 가능한 코드 공개에 집중할 필요가 있습니다.