Explorative Modeling, 생성 모델의 세 번째 축

평균을 맞히는 모델에서 후보를 탐색하는 모델로

Alexi Gladstone의 2026년 7월 29일 글과 프로젝트 페이지는 Explorative Modeling이라는 생성 모델 학습 방식을 제안한다. 직관은 쉽다. 정답이 여러 개인 문제에서 모델에게 하나의 답만 내라고 하면 평균을 맞히게 된다. 개 이미지의 평균은 개가 아니라 흐릿한 갈색 덩어리가 되고, 텍스트의 평균은 의미 없는 반복으로 무너진다. 오늘의 autoregressive 모델과 diffusion 모델은 이 문제를 생성 과정을 잘게 쪼개 해결한다.

Explorative Modeling은 방향을 바꾼다. 생성 과정을 쪼개는 대신 학습 중 여러 후보를 만들고, K개 후보 중 목표에 가장 가까운 것만 학습한다. 프로젝트는 이를 "generation이 아니라 training을 factor한다"고 설명한다. BTB, LLM 추론 병목을 캐시 예측으로 밀어내다가 시스템 계층에서 추론 비용을 줄이는 이야기였다면, XM은 목적함수 계층에서 같은 질문을 던진다.

숫자가 사실이면 비용 구조가 달라진다

프로젝트 페이지는 XM이 기존 generative model에 더해질 때 6.2배 sample efficiency, 4.1배 FLOP efficiency, 47% parameter efficiency 개선을 주장한다. 이미지, 비디오, 언어에서 exploration을 늘릴수록 지표가 개선됐고, 데이터가 커질수록 이득이 7%에서 36%로, 모델 크기가 커질수록 13%에서 23%로 커졌다고 설명한다. 중요한 것은 "작은 꼼수"가 아니라 확장 축이라는 주장이다.

GitHub 코드와 arXiv 논문이 공개되어 있으므로 다음 단계는 재현이다. 생성 AI 인프라 시장은 모델 크기, 데이터 품질, 추론 최적화에 초점을 맞춰 왔다. XM이 별도 축으로 작동한다면 팀은 "더 큰 GPU" 이전에 "더 많은 후보를 학습에서 어떻게 쓰는가"를 검토해야 한다.

로봇과 월드모델에서 특히 민감하다

XM 주장이 가장 흥미로운 곳은 로보틱스다. 프로젝트는 robot manipulation에서 Diffusion Policy가 100회 network forward pass를 쓰는 동안 Explorative Policy는 1회로 비슷한 성공률을 냈다고 설명한다. Maze2D planning에서는 Diffuser보다 평균 점수가 높고 step 수가 16배에서 256배 적었다고 주장한다. Diffusion Policy가 보여준 강점은 실제 로봇 제어에서 diffusion이 강력하다는 점이었는데, 그만큼 추론 단계 비용도 민감하다.

로봇은 클라우드 이미지 생성과 다르다. 지연은 UX가 아니라 안정성 문제다. Gemini Robotics 2, 로봇의 몸 전체를 겨냥하다가 말한 embodied AI 경쟁에서 한 번의 action selection 비용은 전체 시스템 가격을 바꾼다. XM이 주장처럼 end-to-end 생성에 가까워진다면 로봇, 게임 월드모델, 시뮬레이터 에이전트에 먼저 시험할 만하다.

한국 개발팀의 체크리스트

한국 스타트업과 연구팀은 논문 숫자만 보고 바로 제품 로드맵을 바꾸기보다 작은 재현부터 시작하는 편이 낫다. 첫째, 자체 데이터에서 K를 2, 5, 8처럼 낮은 값부터 올려 품질과 학습 비용을 동시에 기록한다. 둘째, FID나 perplexity 같은 최종 지표뿐 아니라 실패 샘플의 다양성을 본다. 셋째, 추론 step 감소가 실제 지연과 전력 소모를 줄이는지 계측한다. 넷째, 기존 diffusion, flow matching, masked diffusion과 같은 기준선을 같은 코드 경로에서 비교한다.

ORCA-bench, 온콜 에이전트의 현실 점수를 공개하다가 보여준 것처럼 AI 시스템은 논문 성능보다 운영 실패에서 진짜 비용이 드러난다. XM도 마찬가지다. best-of-K 학습이 다양한 모드를 잘 잡는다면 좋지만, 특정 데이터셋에서만 효과가 큰지, K가 커질 때 학습 안정성이 흔들리는지, 모델이 rare mode를 정말 보존하는지는 제품팀이 다시 검증해야 한다.

자주 묻는 질문

Q1: Explorative Modeling은 새 모델 아키텍처인가요?

A: 핵심은 아키텍처보다 학습 목표다. 여러 후보를 만들고 가장 가까운 후보의 loss를 학습하는 방식이다.

Q2: 왜 세 번째 사전학습 축이라고 부르나요?

A: 프로젝트는 파라미터와 데이터처럼 exploration K를 늘리는 것이 scale에 따라 계속 이득을 준다고 주장한다.

Q3: 바로 LLM 학습에 적용할 수 있나요?

A: 논문은 masked-diffusion language model 실험을 포함하지만, 대규모 상용 LLM에서의 재현은 별도 검증이 필요하다.

Q4: 추론 비용이 정말 줄어드나요?

A: 로봇과 월드모델 실험에서는 step 수 감소를 주장한다. 다만 학습 비용과 품질 지표를 함께 봐야 총비용이 보인다.

Q5: 한국 팀은 무엇부터 해보면 좋나요?

A: 이미지나 제어 데이터셋 하나를 골라 K별 품질, 학습 안정성, 추론 지연을 같은 대시보드에 올리는 작은 재현이 출발점이다.