Google의 Sleep 연구, AI 기억은 저장과 다르다

AI가 긴 문서를 읽었다고 다음 세션에서도 그 내용을 활용하는 것은 아니다. Google Research가 10월 27일 소개한 Sleep 프레임워크는 활동 중 얻은 정보를 별도의 오프라인 단계에서 모델 파라미터로 통합하는 지속 학습 접근이다. 사람의 수면에 비유하지만, 모델이 스스로 프로그램 구조를 바꾸는 기술이라는 뜻은 아니다.

활동과 수면은 실제로 무엇을 하는가

Google Research 설명은 두 상태를 구분한다. 활동 단계에서는 입력과 상호작용하며 정보를 빠른 단기 기억 요소에 둔다. 수면 단계에서는 새 입력 처리를 잠시 멈추고 기억 통합과 학습에 연산을 사용한다.

이 과정은 고정된 모델 구조와 사람이 정한 학습 규칙 안에서 수행된다. 미리 마련된 Mixture-of-Experts 기억 블록을 활성화하고, 생성한 연습 예제로 수치 가중치를 갱신한다. ‘꿈꾸는 AI’라는 표현을 의식이나 무제한 자기 개조로 받아들이면 연구의 범위를 벗어난다.

연구의 세부 조건은 연결된 논문에서 확인할 수 있다. 이번 기사는 공식 블로그와 공개 연구 설명을 바탕으로 한 분석이며, 동일한 학습을 직접 재현한 성능 보고가 아니다.

기억 통합과 합성 연습은 다른 단계다

기억 통합에서는 새로운 저랭크 전문가를 장기 기억 블록에 연결해 기존 지식을 덮어쓰는 문제를 줄이려 한다. 단기 문맥을 학생 모델의 파라미터로 옮기는 데 지식 증류와 모방 학습을 사용하고, 통합이 끝난 임시 기억은 초기화해 다음 입력을 받을 여유를 만든다.

이후 ‘dreaming’ 단계에서는 보통과 다른 전문가 조합을 활성화해 합성 예제를 만들고, 학습 신호가 유용한 예제를 선택해 모델을 다듬는다. 관련 구성의 배경은 MoE 설명과 GKD 학습기 문서를 통해 이해할 수 있다. 다만 구성 요소가 익숙하다고 전체 시스템의 운용 비용이나 재현성이 자동으로 검증되는 것은 아니다.

핵심은 정보를 모두 그대로 보관하는 저장 장치가 아니라, 학습 목적에 맞는 방향으로 압축한다는 점이다. 중요한 세부 사실이 어떤 조건에서 남고 사라지는지 평가해야 한다. 트랜스포머의 연상 기억 관점과 연결하면, 회상 가능성과 원본 보존이 서로 다른 요구라는 사실이 더 분명해진다.

1천만 토큰은 일반 제품의 문맥창 약속이 아니다

연구진은 BABILong 평가에서 최대 1천만 토큰까지 장기 문맥 정보를 통합하는 결과를 소개한다. 이는 아무 문서나 1천만 토큰 넣으면 모든 내용을 정확히 기억한다는 의미가 아니다. 특정 과제와 학습 방식에서의 결과이며, 모델의 일반 서비스 입력 한도를 발표한 것도 아니다.

공식 설명은 새로운 사실 통합 평가에서 단일 과제 48.9%, 계속 사전학습 조건 46.2%를 제시한다. 수학 추론에서는 AIME 24, AIME 25, HMMT 25에 대해 각각 79.2%, 69.0%, 46.1%를 보고한다. 서로 다른 시험의 수치를 한데 평균해 ‘기억 정확도’로 만들 수는 없다.

BABILong 원논문을 함께 보면 장문 평가가 어떤 능력을 겨냥하는지 구분할 수 있다. 연구 결과가 유망하다는 판단과, 현재 모든 기억 문제를 해결했다는 주장은 거리가 있다.

RAG와 경쟁하기보다 기억의 위치가 달라진다

검색 증강 생성은 외부 문서에서 관련 내용을 찾아 문맥에 넣는다. 문서 단위로 출처를 표시하거나 삭제하기 쉽다는 장점이 있지만, 검색 실패와 문맥 한계가 남는다. Sleep 방식은 정보를 파라미터에 통합하려 하므로 세션이 끝나도 학습 효과를 유지할 가능성이 있지만, 특정 문장이 어느 자료에서 왔는지 바로 추적하기 어려울 수 있다.

따라서 기업이 모든 문서를 학습시키는 방식으로 즉시 전환할 이유는 없다. 빠르게 바뀌는 정책과 삭제 요청 가능성이 있는 자료는 외부 저장소에 두고, 반복되는 능력과 안정적인 지식을 학습하는 혼합 설계를 검토할 수 있다. 이는 연구의 공식 제품 설계가 아니라 실무 적용을 위한 해석이다.

AI 고문서 검색의 증거 경로는 답변에서 원본으로 돌아갈 수 있어야 한다는 요구를 보여준다. 파라미터 기억이 좋아져도 회계·법률·연구처럼 출처 검증이 필요한 영역에서는 원본 보관과 인용 체계가 사라지지 않는다.

한국 기업이 평가해야 할 비용은 수면 시간까지다

추론이 끝난 뒤 학습을 수행한다면 학습 연산, 임시 저장, 버전 관리, 이전 성능의 회귀 평가가 추가된다. 기억 용량을 늘리는 구조에서는 모델 크기와 배포 환경의 제약도 확인해야 한다. ‘추가 문맥 비용이 줄었다’는 사실만으로 전체 운영비가 줄었다고 결론 내릴 수 없다.

국내 기업 데이터로 실험한다면 한국어와 영문 혼합 문서, 숫자·날짜 수정, 서로 충돌하는 정책 버전을 포함하는 것이 유용하다. 학습 후 새 사실을 맞히는지뿐 아니라 기존 업무가 나빠졌는지, 잘못 학습한 내용을 어떻게 되돌리는지도 시험해야 한다. 명세를 파일로 남기는 개발 방식은 모델 내부 기억과 별개로 사람이 검토 가능한 기록을 유지하는 보완 수단이다.

자주 묻는 질문

Sleep은 사람이 자는 것처럼 의식이 있는 과정인가?

아니다. 생물학적 비유다. 정해진 구조와 학습 규칙 안에서 기억 통합과 합성 데이터 학습을 수행한다.

1천만 토큰을 읽는 상용 Gemini 기능이 출시됐나?

이 발표는 연구 프레임워크를 설명한다. BABILong 결과를 일반 제품의 문맥 한도나 출시 약속으로 읽으면 안 된다.

RAG가 필요 없어지는가?

그렇게 볼 근거는 없다. 원본 확인, 최신 정보, 수정·삭제가 중요한 업무에서는 외부 문서 검색의 역할이 남는다.

파라미터에 저장하면 이전 지식을 절대 잊지 않나?

연구는 특정 조건에서 망각을 완화하는 결과를 보여준다. 모든 데이터와 작업에서 영구 보존을 보장하지 않는다.

도입 전에 가장 중요한 비교 항목은 무엇인가?

새 지식 습득과 기존 능력 유지에 더해 학습 비용, 서비스 중단 시간, 변경 이력과 복구 가능성을 같은 조건에서 비교해야 한다.