LLM에도 잠이 필요하다는 논문의 의미

논문의 핵심: 컨텍스트를 잠으로 압축하기

Language Models Need Sleep은 2026년 5월 25일 arXiv에 공개된 논문으로, Sangyun Lee, Sean McLeish, Tom Goldstein, Giulia Fanti가 저자로 등록돼 있다. 논문은 Transformer 기반 LLM이 긴 작업에 쓰일수록 attention 계산은 컨텍스트 길이에 대해 비효율적으로 커지고, KV 캐시는 선형으로 증가한다는 문제에서 출발한다. 해결 아이디어는 잠과 비슷한 오프라인 정리 시간이다.

저자들은 모델이 최근 컨텍스트를 주기적으로 persistent fast weights로 변환한 뒤 KV 캐시를 비우는 방식을 연구했다. 잠자는 동안 모델은 누적 컨텍스트를 N번 오프라인 순환 처리하고, SSM 블록의 빠른 가중치를 학습된 로컬 규칙으로 업데이트한다. 깨어 있는 추론 시점에는 추가 지연을 크게 늘리지 않으면서 오래된 정보가 압축된 내부 상태를 쓰는 구조다. 이는 Δ-Mem, LLM 장기기억을 작은 상태로 압축하다와 같은 메모리 압축 흐름과 연결된다.

긴 컨텍스트가 만능이 아닌 이유

최근 모델 경쟁은 컨텍스트 창을 길게 만드는 방향으로 흘렀다. 하지만 긴 창은 곧 좋은 추론을 뜻하지 않는다. 오래된 토큰을 그대로 들고 있어도, 그 위에서 필요한 계산을 하지 못하면 깊은 추론은 실패한다. 논문은 cellular automata, multi-hop graph retrieval, GSM-Infinite 같은 과제에서 일반 Transformer와 SSM-attention hybrid 모델이 실패하는 장면을 제시하고, sleep duration N을 늘릴수록 특히 깊은 reasoning이 필요한 예제에서 성능이 개선된다고 설명한다.

Transformer 원 논문이 attention을 통해 문맥 접근을 혁신했다면, 이번 흐름은 접근 이후의 정리를 묻는다. Mamba 이후 SSM 계열은 긴 시퀀스 효율성의 대안으로 부상했지만, 저장과 추론은 다르다. 정보가 어딘가에 남아 있다는 사실과 그 정보를 문제 해결에 쓸 수 있다는 사실 사이에는 추가 계산이 필요하다.

에이전트 제품에 주는 설계 힌트

실제 제품에서는 모델 아키텍처를 곧바로 바꾸기 어렵다. 그래도 논문이 주는 힌트는 크다. 장기 실행 에이전트는 계속 대화만 이어가면 안 된다. 작업 중간에 멈춰서 로그를 정리하고, 결정 사항을 구조화하고, 실패한 시도를 버리고, 다음 단계에 필요한 상태만 남기는 시간이 필요하다. Multi-Stream LLM, 에이전트 병목을 구조로 풀려는 시도가 병렬 구조를 말했다면, 이번 논문은 시간 구조를 말한다.

개발 도구로 바꾸면 더 구체적이다. 코딩 에이전트가 2시간 동안 저장소를 수정했다면 매 턴 전체 대화를 들고 가는 것보다, 일정 주기마다 변경 목적, 파일별 상태, 실패한 테스트, 남은 제약을 별도 상태로 재작성해야 한다. 이는 모델 내부 fast weights가 아니더라도 외부 메모리, 체크포인트, 작업 노트, 벡터 저장소로 구현할 수 있다. Runtime, 팀 단위 코딩 에이전트 운영체제를 겨냥하다 같은 도구가 세션 상태를 제품화하려는 이유다.

한국 기업과 연구팀의 기회

한국어 업무 에이전트는 긴 문서, 사내 규정, 계약, 고객 상담 이력을 다루는 경우가 많다. 이때 컨텍스트 창을 늘리는 것만으로는 부족하다. 오래된 규정과 최근 고객 메시지를 연결하고, 중간 결정을 기억하며, 불필요한 대화는 버리는 정책이 필요하다. 논문은 아직 연구 단계지만 "언제 잠들게 할 것인가"라는 제품 질문을 던진다.

연구팀에는 평가 과제가 중요하다. GSM-Infinite처럼 긴 맥락과 깊은 추론을 동시에 요구하는 벤치마크가 더 필요하다. 기업에는 운영 지표가 중요하다. 세션 길이, 압축 주기, 요약 오류율, 재개 성공률, 비용 절감률을 함께 봐야 한다. AI 에이전트 테스트, 분산시스템의 주장부터 검증한다가 말한 것처럼, 에이전트는 단일 호출이 아니라 상태가 있는 시스템이다.

자주 묻는 질문

Q1: 이 논문은 모델이 실제로 잠을 잔다는 뜻인가요?

A: 아니다. 잠은 비유다. 모델이 추론 중간에 오프라인 계산 시간을 갖고 컨텍스트를 내부 상태로 압축한다는 뜻이다.

Q2: 긴 컨텍스트 모델보다 낫다는 결론인가요?

A: 그렇게 단정하긴 이르다. 논문은 특정 과제에서 sleep duration을 늘릴 때 성능이 개선된다는 연구 결과를 제시한다.

Q3: 제품 개발자는 당장 무엇을 적용할 수 있나요?

A: 모델 내부를 바꾸지 않아도 세션 체크포인트, 구조화 요약, 실패 로그 정리, 재개 상태 저장을 도입할 수 있다.

Q4: 왜 SSM이 등장하나요?

A: SSM 계열은 긴 시퀀스를 효율적으로 다루는 대안으로 연구돼 왔다. 논문은 SSM 블록의 fast weights를 지속 메모리로 쓰는 방식을 실험한다.

Q5: 장기 실행 에이전트의 핵심 지표는 무엇인가요?

A: 최종 성공률뿐 아니라 중간 상태 보존, 재개 성공률, 컨텍스트 비용, 오래된 제약을 지키는 비율을 함께 봐야 한다.