TinyBrains, 작은 신경망을 게임 실력으로 겨룬다

8KiB부터 시작하는 다른 종류의 AI 대회

TinyBrains는 작은 신경망이 전략 게임을 얼마나 잘하는지 겨루는 ranked ladder다. 참가자는 model.onnx와 입력 변환을 선언하는 manifest.json 두 파일을 제출하고, 플랫폼은 합산 bytes를 측정해 8KiB부터 시작하는 weight class에 배정한다. 거대한 foundation model의 절대 성능이 아니라 제한된 저장공간에서 얻는 게임 실력을 비교하는 것이 핵심이다.

첫 reference game은 2011 Google AI Challenge에서 영감을 받은 Ants다. wrapping grid에서 colony들이 경쟁하고, 모델은 관측을 받아 action policy를 낸다. Ants 공개 저장소는 Rust로 작성된 deterministic engine, board generator, replay viewer와 baseline pipeline을 함께 제공한다. game logic은 floating point를 금지하고 seed·action·board가 match를 결정하도록 해 platform과 browser replay가 같은 결과를 재현하는 것을 목표로 한다.

작은 모델 경쟁이 측정하기 어려운 이유

파일 크기만 재면 압축 포맷이나 runtime trick이 점수를 왜곡할 수 있다. TinyBrains는 ONNX graph와 manifest의 실제 bytes를 함께 재고, admission 단계에서 model input/output과 adapter가 규칙에 맞는지 확인한다. 9월 15일 changelog에 따르면 예전 adapter 대신 manifest 한 개로 전환했고, platform이 파일 bytes를 별도로 보관하지 않고 one-shot upload URL을 제공하는 구조로 바뀌었다.

ONNX 표준을 쓰면 다양한 framework에서 export할 수 있지만, 모든 operator가 모든 runner에서 동일하게 지원된다는 뜻은 아니다. 실제로 TinyBrains changelog는 새 version을 runner가 제때 읽지 못한 trial을 참가자 실패로 계산하지 않도록 고쳤다고 설명한다. 공정한 AI 대회는 모델뿐 아니라 runner rollout, version pinning, retry semantics까지 평가 시스템의 일부라는 좋은 사례다.

baseline이 보여주는 압축의 의미

공개 changelog에 따르면 nano-bc baseline은 2,930 parameters와 5.9KiB, micro-bc는 24,001 parameters와 44.6KiB다. 둘은 scripted teacher의 25만 seat-turn에서 distillation됐고, starter model은 teacher와 85.8% agreement를 제시한다. 이 수치는 game 승률이나 일반 지능이 아니라 특정 teacher action을 얼마나 따라 했는지 나타낸다.

ants-starter 저장소는 학습 스크립트, baseline, manifest 생성과 CI 예제를 제공한다. 참가자는 tinybrains check로 admission과 비슷한 검사를 하고 local self-play를 돌릴 수 있다. 이 공개 경로는 대회의 장점이다. 다만 TinyBrains 팀도 10,000-match cross-host conformance run이 아직 남은 과제라고 저장소에 명시한다. 초기 leaderboard 수치를 완성된 과학 benchmark처럼 일반화하면 안 된다.

온디바이스 AI가 배울 점

작은 신경망의 가치는 장난감 크기에 있지 않다. 센서, 게임, 라우팅, anomaly detection처럼 입력과 출력이 좁은 문제에서는 범용 언어 모델보다 작은 policy가 빠르고 예측 가능할 수 있다. 모델 파일이 작으면 배포·update·rollback이 쉬워지고, 네트워크가 끊겨도 움직인다. 반면 학습 분포에서 벗어난 board나 rule change에 약할 수 있으므로 season을 달리한 평가가 필요하다.

이 흐름은 애플 Neural Engine, 50GB/s를 되찾다, Bonsai 2 27B, 로컬 AI의 6GB 기준선, Real-SWE, 사내 코드 벤치마크의 반격과 닿아 있다. 좋은 benchmark는 화려한 task 이름보다 production constraint를 얼마나 정직하게 담는지가 중요하다. TinyBrains는 bytes를 전면에 놓았지만 앞으로 latency, peak memory, energy까지 함께 보면 더 실용적일 것이다.

자주 묻는 질문

Q1: 작은 언어 모델 대회인가요?

A: 아니다. 현재는 ONNX policy network가 전략 게임을 플레이하는 대회다. 자연어 생성 능력을 겨루지 않는다.

Q2: 8KiB면 정확히 무엇을 재나요?

A: 사이트 설명상 model.onnx와 manifest.json 두 제출 artifact의 bytes를 기준으로 weight class를 정한다.

Q3: parameter가 적으면 자동으로 유리한가요?

A: 파일 크기에는 유리할 수 있지만 순위는 match 결과와 rating으로 정해진다. encoding과 policy 품질이 함께 중요하다.

Q4: 결과가 완전히 재현되나요?

A: engine은 deterministic 설계를 강하게 추구하지만 프로젝트는 cross-host 대규모 conformance가 남은 과제라고 밝힌다.

Q5: 국내 개발자가 얻을 교훈은 무엇인가요?

A: 좁은 업무에서는 범용 LLM 호출 전에 작은 model로 충분한지 실험하고, 파일 크기뿐 아니라 latency·memory·energy·rollback을 같은 평가표에 넣는 것이다.