다음 토큰 예측자라는 말은 왜 부족한가
LLM이 한 토큰씩 출력한다는 설명은 메커니즘의 모양만 말한다. RLVR와 에이전트 훈련이 확산될수록 중요한 것은 다음 단어 예측이 아니라 어떤 보상과 환경이 행동을 선택하게 만들었는지다.
AI 뉴스를 놓치지 마세요
매주 핵심 AI 소식을 이메일로 받아보세요.
맞지만 불완전한 설명
Garrin McGoldrick의 글은 "LLM은 다음 토큰 예측자"라는 표현이 엄밀히 틀린 말은 아니지만 충분하지 않다고 지적한다. 트랜스포머 기반 언어 모델이 한 토큰씩 자기회귀적으로 출력하는 것은 맞다. 사전학습에서도 이전 토큰을 보고 실제 다음 토큰의 확률을 높인다. 그래서 zeroth-order approximation으로는 유용하다.
문제는 우리가 쓰는 모델이 이제 단순 base model이 아니라는 점이다. 현대 모델은 RLHF 논문 이후 인간 선호에 맞게 조정됐고, 수학과 코딩처럼 결과 검증이 가능한 영역에서는 RLVR, 즉 verifiable reward 기반 강화학습을 많이 쓴다. OpenAI도 GPT-4 기술 보고서에서 사전학습 이후 정렬 과정을 설명했고, DeepMind의 AlphaZero 논문은 데이터 모방과 탐색 기반 최적화의 차이를 보여준 대표 사례다.
RLVR는 데이터 모방을 넘어선다
글의 핵심은 사전학습과 RLVR의 학습 이유가 다르다는 데 있다. 사전학습에서는 실제 데이터에 등장한 next token이 더 가능해진다. RLVR에서는 모델이 스스로 생성한 sequence가 높은 보상을 받으면 그 sequence를 구성한 선택이 더 가능해진다. 겉으로는 여전히 토큰이 하나씩 나오지만, 내부에 인코딩된 것은 "데이터에서 다음에 온 말"만이 아니라 "목표를 달성한 행동의 흔적"이다.
체스 비유가 설득력 있다. 기보 데이터로 훈련된 시스템은 다음 수 예측자에 가깝다. 가능한 게임을 탐색해 이길 확률이 높은 수를 고르는 시스템은 다음 수를 예측하는 것이 아니라 승리를 최적화한다. LLM도 마찬가지다. AI 회의론도 예측 성적표가 필요하다가 말했듯 평가 문장은 구호보다 예측 가능해야 한다. next-token이라는 구호만으로는 모델의 실패와 성공을 예측하기 어렵다.
| 설명 방식 | 잘 설명하는 것 | 놓치는 것 |
|---|---|---|
| 다음 토큰 예측자 | 출력 메커니즘, 사전학습 목표 | post-training, 목표 지향 행동 |
| 통계 자동완성 | 문체 모방, 지식 회상 | 도구 사용, 장기 과제, 자기 탐색 |
| 보상 기반 정책 | RLVR, 코딩/수학 성능 향상 | 언어 생성의 실제 구현 모양 |
| 에이전트 시스템 | 도구 호출, 환경 피드백 | 모델 자체 능력과 런타임의 경계 |
제품 설계의 언어도 바뀐다
이 논쟁은 철학이 아니라 제품 설계 문제다. LLM을 자동완성으로 보면 프롬프트와 답변만 관리하게 된다. 하지만 보상 기반 행동 정책으로 보면 환경, 도구, 실패 피드백, 평가 데이터가 더 중요해진다. 코딩 에이전트가 테스트를 돌리고 실패 로그를 읽고 다시 수정하는 순간, 제품의 품질은 모델 파라미터보다 reward-like feedback의 질에 좌우된다.
agent.md, 코딩 에이전트 품질의 새 계약서가 강조한 계약도 이 맥락에 있다. 에이전트에게 성공 기준을 문서화하면 모델은 더 나은 선택을 할 수 있다. EEBench, AI 하드웨어 설계의 시험대를 만들다처럼 회로 설계도 전압과 비용으로 채점할 수 있으면 모델은 단순 설명을 넘어 개선 루프에 들어간다.
한국 기업의 오해 비용
한국 기업 현장에서 "어차피 다음 단어 맞히는 기계"라는 말은 두 가지 비용을 만든다. 하나는 과소평가다. 모델이 도구와 보상 환경을 만나면 단순 문장 생성보다 훨씬 복잡한 일을 한다. 다른 하나는 과대평가다. 목표를 주면 알아서 옳은 행동을 한다고 믿고 권한을 넓게 열어준다. 둘 다 위험하다.
정확한 태도는 중간에 있다. LLM은 토큰을 출력하는 통계 모델이지만, 현대 post-training과 에이전트 런타임은 그 토큰 출력을 목표 지향 행동으로 바꾼다. 따라서 기업은 "모델이 무엇을 안다"보다 "어떤 환경에서 어떤 보상을 받고 어떤 행동을 반복했는가"를 물어야 한다. 로그, 테스트, 승인, 샌드박스가 모델 이해의 일부가 된다.
자주 묻는 질문
Q1: 그럼 next-token predictor라는 말은 틀렸나요?
A: 완전히 틀린 말은 아닙니다. 출력 메커니즘과 사전학습을 설명하는 데는 맞지만, post-training 이후 행동을 설명하기에는 부족합니다.
Q2: RLVR는 무엇인가요?
A: 모델이 스스로 생성한 풀이가 검증 가능한 보상을 받을 때 그 경로를 강화하는 학습입니다. 수학, 코딩, 도구 사용 과제와 잘 맞습니다.
Q3: 이 논쟁이 실무에 왜 중요한가요?
A: 모델을 자동완성으로 보면 프롬프트만 고칩니다. 목표 최적화 시스템으로 보면 테스트, 로그, 권한, 실패 피드백을 함께 설계합니다.
Q4: 에이전트 위험과도 연결되나요?
A: 연결됩니다. 모델이 목표 달성 행동을 학습하고 도구를 쓰면, 환경의 허점도 목표 달성 수단으로 해석될 수 있습니다.
Q5: 한국 팀의 첫 적용점은 무엇인가요?
A: AI 파일럿마다 성공 기준과 금지 행동, 검증 가능한 피드백, 감사 로그를 명시하는 것입니다.
관련 토픽 더 보기
📰 원본 출처
gmcgoldr.github.io이 기사는 AI 기술을 활용하여 작성되었으며, 원본 뉴스 소스를 기반으로 분석 및 해설을 추가한 콘텐츠입니다. 정확한 정보 전달을 위해 노력하고 있으나, 원본 기사를 함께 확인하시기를 권장합니다.