트랜스포머를 기억 장치로 보면 문맥의 한계가 보인다

새로운 모델 발표가 아닌 설명 방식의 전환

Alex Wang은 10월 15일 공개한 기술 해설에서 선형층, MLP, 자기어텐션을 서로 다른 연상 메모리로 바라본다. 연상 메모리는 키와 값을 저장하고 비슷한 키가 들어왔을 때 해당 값을 되찾는 장치다. 이 관점은 모델이 얼마나 많은 정보를 담는가보다 필요한 정보를 얼마나 깨끗하게 회수하는가에 초점을 맞춘다.

이 글은 새로운 상용 모델의 성능 발표나 트랜스포머의 역사적 발명 과정을 재구성한 논문이 아니다. 이미 알려진 구성 요소를 간단한 수학적 가정과 시각화로 이어 보는 교육용 설명이다. 공개 코드 저장소가 함께 제공돼 독자가 가정과 실험을 확인할 수 있다는 점이 유용하다.

AI 에이전트 제품은 기억의 길이와 보존량을 자주 강조한다. 하지만 실제 사용자는 오래 저장됐다는 사실보다 그 기억이 지금의 질문에 맞게 사용되는지를 체감한다. 이번 해설이 제품 설계에 던지는 질문도 '얼마나 넣을 수 있나'에서 '다른 정보가 많아져도 원하는 것을 찾아내나'로 바뀐다.

저장량이 늘면 간섭도 커진다

가장 단순한 선형 메모리는 여러 키·값 쌍을 외적으로 합산한 행렬로 생각할 수 있다. 질의가 들어오면 각 키와의 유사도가 값의 가중치가 된다. 원하는 기억만 정확히 선택되면 좋지만, 다른 키가 질의와 조금씩 닮아 있으면 그 값들도 섞인다. 원문은 이 방해 성분을 신호와 비교해 회수 성능을 설명한다.

정규화된 무작위 키와 비슷한 길이의 무작위 값이라는 가정 아래에서 단순 외적 메모리의 간섭 대 신호 비율은 저장 수를 키 차원으로 나눈 값의 제곱근 정도로 증가한다. 키 차원이 64라면 저장 수가 약 64에 도달할 때 간섭과 신호의 크기가 비슷해지는 직관이다. 실제 언어의 문장이나 회사 문서는 독립적인 무작위 벡터가 아니므로 이 수치를 업무 문서 개수로 옮길 수는 없다.

원문은 최소제곱 방식으로 저장을 조정하면 같은 기준의 용량을 약 두 배로 늘릴 수 있다고 설명한다. 선형 구조 자체를 버리기 전에 중복된 방향의 영향을 줄여 회수 품질을 높일 수 있다는 뜻이다. 이는 데이터가 많다는 사실뿐 아니라 데이터 간의 관계와 저장 방식도 중요하다는 교훈을 준다.

MLP와 어텐션이 더 선택적으로 기억하는 방식

원문은 비선형성을 도입하면 관련성이 낮은 키의 기여를 억제할 수 있고, 자기어텐션은 키·값을 명시적으로 유지한 채 선택적인 회수를 수행한다고 설명한다. 64차원 키의 예시에서 약 64개, 약 2,700개, 100만 개 이상으로 용량이 달라진다는 비교를 제시하지만, 이는 특정 가정과 구성에 따른 설명용 수치다. 실제 모델의 모든 사실 기억량이나 문맥 정확도 측정치가 아니다.

Attention Is All You Need는 트랜스포머의 원래 구조를 확인할 수 있는 배경 문헌이다. Transformer Feed-Forward Layers Are Key-Value Memories는 피드포워드 층과 키·값 기억의 관계를 다룬다. 이 자료들은 개념의 연결을 돕지만, 이번 해설의 모든 단순화가 실제 서비스에 그대로 성립한다는 보증은 아니다.

긴 문맥, 학습된 지식, 외부 기억을 구분해야 한다

모델 가중치에 학습된 정보, 현재 요청의 문맥, 데이터베이스에 저장된 과거 기록은 같은 '기억'이라는 단어로 불리지만 변경·삭제·조회 방식이 다르다. 요청에 문서를 추가하는 것은 모델을 다시 학습시키는 일이 아니고, 대화를 데이터베이스에 보관하는 것만으로 모델이 적절한 시점에 그 내용을 활용하는 것도 아니다.

기억형 AI의 접근권 분석은 제품 관점에서 어떤 기억에 접근할 수 있는지를 다뤘다. 이번 해설은 접근 가능한 정보가 많아진 뒤에 무엇을 선택할지라는 다음 단계와 연결된다. 검색 결과를 지나치게 많이 넣으면 중요한 근거가 다른 문서와 경쟁할 수 있다. 다만 수학적 장난감 모형의 간섭량으로 특정 RAG 시스템의 오류율을 예측해서는 안 된다.

CedarDB의 데이터 복사 비용 분석처럼 저장 구조를 단순화하는 접근과 회수 품질을 높이는 접근은 보완 관계다. 데이터가 한곳에 있다는 것과 정답의 근거를 정확히 선택한다는 것은 다른 성과 지표다.

한국 기업의 평가 항목은 문서 수보다 방해 조건

사내 규정 질의 시스템이라면 최신 규정 한 개만 넣은 시험에서 멈추지 않는 편이 좋다. 제목이 비슷한 구버전, 같은 용어를 다른 뜻으로 쓰는 문서, 예외 조항을 함께 넣고 어떤 근거를 선택하는지 확인해야 한다. 한국어 약어·띄어쓰기·부서별 표현 차이는 단순 키워드 일치만으로 해결하기 어려운 회수 조건을 만든다.

실무 지표는 정답률에 더해 출처의 정확성, 최신 버전 선택률, 답할 근거가 없을 때의 보류 여부를 포함할 수 있다. 문맥 길이가 늘어날 때의 지연과 비용도 함께 기록하면 '더 긴 입력을 허용하는 모델'과 '같은 근거를 더 잘 고르는 시스템'을 분리해 비교할 수 있다. AI 도구와 자동화의 통제 위치에서처럼 사용자가 근거를 확인하고 수정할 경로도 중요하다.

경쟁의 핵심은 한 가지 기억 기술이 모든 선택지를 대체하는 데 있지 않다. 모델의 문맥, 검색기, 재정렬, 요약, 구조화된 저장을 업무에 맞게 조합해야 한다. 저장량을 늘리는 투자가 실제 회수 개선으로 이어졌는지 확인하는 것이 이번 해설의 가장 현실적인 활용법이다.

자주 묻는 질문

64차원이면 사실을 64개만 기억하나?

아니다. 특정 선형 모형과 무작위 데이터 가정에서 얻은 설명용 기준이다.

어텐션은 무한한 문맥을 무료로 처리하나?

아니다. 개념적 저장 가능성과 실제 계산량·메모리·지연은 다르다.

이 글은 새 트랜스포머 모델 발표인가?

아니다. 기존 구성 요소를 연상 메모리의 관점으로 설명하는 기술 해설이다.

RAG를 더 긴 문맥으로 대체하면 되나?

일괄적인 답은 없다. 최신성, 근거 선택, 지연과 비용을 업무별로 비교해야 한다.

한국어 업무에서는 무엇부터 시험하나?

구버전 문서와 비슷한 표현을 함께 넣어도 최신의 정확한 근거를 선택하는지 평가하는 것이 유용하다.