연속 확산 언어모델, 자기회귀 독주의 균열

자기회귀가 너무 성공했기 때문에 대안이 중요해졌다

Sander Dieleman의 긴 글 Continuous diffusion language models는 연속 확산 방식의 언어모델이 다시 관심을 받는 이유를 정리한다. 오늘의 주류 LLM은 대부분 자기회귀 모델이다. 앞 토큰을 보고 다음 토큰을 예측하는 방식은 Transformer 논문 이후 대규모 학습과 결합해 압도적인 성과를 냈다. 하지만 성공이 완성은 아니다. 한 토큰씩 생성하는 구조는 지연 시간, 긴 문맥 편집, 제한 조건 생성에서 계속 비용을 남긴다.

Dieleman은 2021년 전후의 이산 확산 언어모델, 2022년의 연속 임베딩 확산 시도, 2023년 이후의 침체와 2025년 이후의 부활을 연결한다. 이전 글 Diffusion language models와 비교하면 이번 글은 연구 유행의 재등장보다 왜 지금 다시 계산이 맞아 보이는지를 묻는다. AI 추론의 정답과 이유 문제가 모델의 결과 해석을 다뤘다면, 이 논의는 결과를 만들어내는 생성 절차 자체를 다시 본다.

연속 확산은 무엇을 다르게 약속하나

확산 모델은 정보를 조금씩 망가뜨린 뒤 그 과정을 거꾸로 되돌려 샘플을 만든다. 이미지에서는 가우시안 노이즈가 자연스럽지만, 언어는 토큰이라는 이산 기호라서 바로 맞지 않는다. 연속 확산 언어모델은 토큰을 임베딩 벡터로 보고 그 공간에서 노이즈를 다룬다. 이 접근은 Diffusion-LM 같은 연구에서 제어 가능한 텍스트 생성의 가능성으로 제시됐다.

이 차이는 제품에서 크게 느껴질 수 있다. 코딩 에이전트가 파일 한 줄을 고치기 위해 전체 응답을 순차 생성하는 대신, 문서 전체의 후보를 병렬로 정제할 수 있다면 UX가 달라진다. vLLM 0.28, 추론 엔진은 이제 운영체제 경쟁이다가 런타임 최적화를 강조한 이유도 같다. 모델 구조와 서빙 엔진은 따로 움직이지 않는다.

문제는 언제나 효율이다

연속 확산 방식이 한동안 밀린 이유는 성능보다 효율이었다. Dieleman은 과거 연구에서 자기회귀 기준 대비 큰 학습 효율 격차가 보고됐던 흐름을 짚는다. AI 산업에서는 이론적으로 예쁜 방법보다 GPU 시간, 메모리, 지연 시간, 사용자 만족도가 더 빨리 판정한다. Chinchilla scaling 논문이 학습 토큰과 파라미터의 균형을 산업 언어로 만든 뒤, 효율이 낮은 대안은 설 자리가 줄었다.

그럼에도 다시 보는 이유는 추론 비용이 제품 원가의 중심으로 올라왔기 때문이다. 대규모 챗봇이 한 번 답할 때마다 토큰을 순차적으로 내보내는 구조는 스트리밍 UX에는 잘 맞지만, 문서 전체 재작성이나 대량 후보 생성에는 병목이 된다. Gemini 3.5 Transcribe, 음성이 데이터 인터페이스가 됐다처럼 입력 양식이 넓어질수록 출력 생성 절차도 다양해져야 한다.

한국 개발자와 기업이 볼 지점

한국 AI 팀이 이 연구를 당장 제품 로드맵에 넣기는 어렵다. 오픈소스 모델과 API 생태계는 여전히 자기회귀 중심이고, 평가 도구도 그쪽에 맞춰져 있다. 그러나 장기적으로는 문서 협업, 교육 콘텐츠, 코드 자동수정, 법률 문서 검토처럼 부분 편집과 제약 조건이 많은 시장에서 다른 생성 방식의 가치가 커질 수 있다. 코드로 그림 그리는 AI, RL의 보상은 디자인 문제다가 보상 설계를 강조했듯, 생성 모델도 목적에 맞는 절차를 골라야 한다.

특히 에이전트 제품은 한 번에 긴 자연어 답변을 내는 서비스가 아니다. 파일을 읽고, 여러 후보를 비교하고, 부분 패치를 만들고, 실패를 되돌린다. 이런 워크플로에서는 자기회귀 모델 하나의 품질뿐 아니라 후보 생성과 검증의 구조가 중요하다. 수학 발견 에이전트, 논문보다 검증 로그가 중요하다에서 말한 검증 로그 중심 사고와도 맞닿아 있다.

자주 묻는 질문

Q1: 연속 확산 언어모델이 GPT류 모델을 곧 대체하나요?

A: 그렇게 보기는 어렵다. 현재 제품 생태계는 자기회귀 모델이 압도적이고, 확산 방식은 아직 연구와 특정 사용처의 후보에 가깝다.

Q2: 왜 연속이라는 표현을 쓰나요?

A: 토큰 자체가 아니라 토큰의 임베딩 벡터처럼 연속적인 공간에서 노이즈와 복원을 다루기 때문이다.

Q3: 가장 큰 장점은 무엇인가요?

A: 병렬 생성, 부분 편집, constrained generation에서 새로운 선택지를 줄 수 있다는 점이다. 다만 실제 효율은 구현과 모델 규모에 달려 있다.

Q4: 한국 기업은 무엇을 준비해야 하나요?

A: 특정 아키텍처에 모든 제품 가정을 묶기보다, 추론 지연과 편집 비용을 계측하고 대체 생성 절차를 실험할 수 있는 평가 환경을 마련해야 한다.

Q5: 이 논의가 에이전트와 연결되는 이유는 무엇인가요?

A: 에이전트는 긴 답변보다 반복적인 수정과 검증을 많이 한다. 생성 절차의 병렬성과 부분 갱신 능력이 곧 작업 비용이 될 수 있다.