무한 파라미터 LLM, 문맥을 가중치로 쓴다

프롬프트에 넣던 정보를 가중치로 옮기기

Infinite-Parameter LLMs 논문은 배포된 모델이 현재 상호작용에서 얻는 정보를 어떻게 더 효율적으로 쓸 수 있는지 묻는다. 기존 LLM은 사전학습 뒤 가중치가 얼어 있다. 사용자가 제공한 사실, 수정, 선호, 업무 규칙은 프롬프트나 검색 결과로 매번 다시 넣고, 요청이 끝나면 대부분 버려진다. 논문은 이 live data를 모델의 effective weight로 컴파일하는 아키텍처를 제안한다.

핵심 아이디어는 Mixture-of-Experts에서 힌트를 얻는다. MoE는 거대한 저장 파라미터 뱅크 중 일부만 토큰별로 활성화한다. Infinite-Parameter LLM은 고정된 전문가 뱅크를 늘리는 대신, compact hypernetwork가 런타임 데이터를 읽어 shared base network의 feed-forward weights에 low-rank modulation을 만든다. 더 나아가 generator의 latent code에 대한 Bayesian belief를 세션 중 온라인으로 업데이트해, 상호작용이 진행될수록 effective weight를 다시 도출한다.

Mixture-of-Experts 개요, LoRA, Retrieval-Augmented Generation, Bayesian learning의 관점에서 보면 이 논문은 "외부 메모리냐 긴 문맥이냐"라는 익숙한 논쟁에 세 번째 저장 위치를 추가한다. 바로 세션 동안 변조되는 가중치다.

왜 무한 파라미터인가

논문 제목의 "무한 파라미터"는 저장된 모델 파일이 무한히 커진다는 뜻이 아니다. stored footprint는 고정된다. 대신 하이퍼네트워크가 live data에서 만들 수 있는 weight modulation의 조합이 사실상 매우 넓기 때문에, 모델이 사용할 수 있는 effective weights가 고정 파라미터 뱅크를 넘어선다는 주장이다.

이 차이는 에이전트 메모리에서 중요하다. RAG는 관련 문서를 매번 불러오고, 긴 문맥은 정보를 계속 들고 다닌다. 둘 다 토큰 비용과 주의력 비용을 낸다. 반면 runtime data를 가중치 변조로 amortize할 수 있다면 같은 사실을 매번 읽지 않아도 된다. 문맥 창을 비우고, 여러 턴에 걸쳐 지속하며, 단순 복사보다 일반화된 행동 변화가 가능해질 수 있다.

에이전트 메모리 경쟁의 다음 장

이 논문은 Zep 채용공고가 말하는 에이전트 메모리 전쟁, GPT-6 Astra 논쟁, 숨은 추론은 성능인가 리스크인가, litelm, LLM 라우팅의 작은 코어를 꺼내다와 맞물린다. 에이전트가 하루 종일 사용자와 일하려면 기억을 어디에 두는지가 제품의 지연시간, 비용, 개인정보, 설명 가능성을 결정한다.

예를 들어 기업 법무 에이전트가 오늘 아침 사용자가 알려준 계약 원칙을 오후 내내 적용해야 한다고 하자. 지금은 시스템 프롬프트, 세션 메모리, 검색 문서, 도구 상태를 조합한다. Infinite-Parameter식 접근은 그 원칙을 세션별 가중치 변조로 반영할 수 있는지 묻는다. 성공하면 토큰 절약과 행동 일관성을 얻을 수 있다. 실패하면 더 불투명한 내부 상태가 생긴다.

검증 과제는 명확하다

논문도 평가 프로토콜을 강조한다. in-context learning과 retrieval against live interaction을 정확히 비교해야 하기 때문이다. 중요한 평가는 세 가지다. 첫째, 같은 live fact를 여러 턴에서 다시 쓸 때 토큰과 계산 비용이 실제로 줄어드는가. 둘째, 단순 암기가 아니라 유사 상황에 일반화되는가. 셋째, 잘못된 사용자 정보나 악의적 지시가 들어왔을 때 가중치 변조가 얼마나 빨리 되돌려지는가.

한국 기업 적용에서는 마지막 질문이 특히 중요하다. 고객 상담, 의료, 금융, 공공 업무에서 세션 중 잘못 배운 규칙이 지속되면 사고가 된다. 따라서 이런 아키텍처가 제품화되려면 빠른 적응만큼 빠른 폐기, 감사 로그, 사용자별 격리, 정책 상한이 필요하다.

자주 묻는 질문

Q1: 실제로 모델 파라미터가 무한히 많아지나요?

A: 아닙니다. 저장 footprint는 고정되고, 런타임 데이터로 생성 가능한 effective weight modulation의 공간이 매우 넓다는 의미입니다.

Q2: RAG와 무엇이 다른가요?

A: RAG는 관련 정보를 검색해 프롬프트에 넣습니다. 이 접근은 live data를 하이퍼네트워크가 가중치 변조로 바꿔 세션 동안 재사용하려 합니다.

Q3: 장점은 무엇인가요?

A: 반복 토큰 비용을 줄이고, 문맥 창을 비우며, 여러 턴에 걸쳐 사용자 정보나 규칙을 더 일관되게 반영할 가능성이 있습니다.

Q4: 가장 큰 위험은 무엇인가요?

A: 잘못된 정보나 공격적 지시가 내부 변조로 남는 문제입니다. 되돌리기, 격리, 감사가 핵심 안전 장치입니다.

Q5: 언제 제품에 적용될 수 있나요?

A: 아직 연구 제안 단계입니다. in-context learning, RAG, 세션 메모리 대비 비용과 안전성을 입증하는 평가가 먼저 필요합니다.