Transformer Explainer, 어텐션을 만져 배우다

124M 모델로 보는 생성형 AI의 내부

Transformer Explainer는 문장을 입력하면 토큰화, 임베딩, 셀프 어텐션, 다층 퍼셉트론(MLP), 출력 확률로 이어지는 흐름을 한 화면에서 탐색하게 만든 인터랙티브 도구다. 설명에 사용하는 모델은 1억2400만 개 파라미터의 GPT-2 small이다. 최신 프런티어 모델과 규모는 다르지만, 토큰을 벡터로 바꾸고 문맥을 섞어 다음 토큰 분포를 만드는 기본 골격을 보여 주기에는 오히려 알맞다.

원조 논문 Attention Is All You Need가 2017년 제시한 수식은 현대 LLM의 출발점이지만, 행렬 곱과 잔차 연결을 읽는 것만으로는 각 단계에서 정보가 어떻게 이동하는지 감을 잡기 어렵다. 이 도구는 입력 문장 Data visualization empowers users to가 토큰 ID와 768차원 임베딩으로 변하고, 12개 레이어를 거쳐 다음 토큰 후보가 되는 과정을 확대·축소한다. GPT-2의 어휘 50,257개, 12개 어텐션 헤드 같은 구체적 수치도 추상적 개념을 실제 계산으로 연결한다.

설명이 아니라 조작이 중요한 이유

정적인 그림은 어텐션을 ‘중요한 단어에 밑줄 긋기’처럼 오해하게 만들기 쉽다. 실제 어텐션은 쿼리와 키의 유사도로 정보 라우팅 가중치를 만들고, 값 벡터를 섞는 계산이다. 특정 헤드의 선이 굵다고 곧바로 모델의 인과적 판단 근거라고 단정할 수도 없다. Transformer Explainer 논문은 단계별 세부 보기와 전체 아키텍처를 오가게 해 이 차이를 경험적으로 가르친다.

이 점에서 이 프로젝트는 LLM Attention 시각화, 설명 가능한 AI의 교육판이 다룬 해석 가능성의 교육적 가치를 더 구체화한다. 결과를 그럴듯한 이야기로 사후 설명하는 것보다, 사용자가 온도와 top-k·top-p를 바꿔 출력 분포가 어떻게 달라지는지 직접 보는 편이 훨씬 강한 학습 경험이다.

최신 모델과 같다고 보면 안 된다

GPT-2 small은 교육용 현미경이지 최신 모델의 축소판은 아니다. 최신 LLM은 더 긴 문맥, 다양한 위치 인코딩, 그룹드 쿼리 어텐션, 혼합전문가 구조, 도구 호출과 후처리 계층을 쓸 수 있다. Hugging Face의 GPT-2 모델 카드는 이 모델의 구조와 한계를 확인할 기준점이며, The Illustrated Transformer는 인코더·디코더 계열을 비교하는 보조 자료가 된다.

따라서 ‘이 헤드가 문법을 이해했다’거나 ‘어텐션 값이 곧 설명이다’라는 결론은 경계해야 한다. 모델 해석은 관찰한 패턴을 개입 실험으로 검증해야 한다. 그래도 작은 모델을 투명하게 보여 주는 일은 중요하다. 폐쇄형 대형 모델의 정확한 내부를 볼 수 없더라도 토큰 경계, 문맥 길이, 샘플링이 출력에 영향을 준다는 사실을 이해하면 프롬프트와 평가 설계가 달라진다. GPT-6 Astra 논쟁, 숨은 추론은 성능인가 리스크인가에서 제기된 관찰 불가능성도 같은 맥락이다.

한국 조직이 활용할 세 가지 장면

첫째는 사내 AI 교육이다. 비개발자에게 ‘모델은 사실을 검색하는 데이터베이스가 아니라 다음 토큰의 조건부 확률을 계산한다’는 점을 20분 안에 체감시킬 수 있다. 둘째는 개발자 온보딩이다. 토큰 수와 지연시간·비용의 관계, temperature가 결정성이 아니라 분포의 모양을 바꾼다는 점을 서비스 장애 사례와 연결할 수 있다. 셋째는 정책·감사 담당자의 공통 언어 만들기다. 출력 근거, 재현성, 샘플링 설정을 구분해야 평가표가 단순 정확도에서 벗어난다.

교육 과정은 시각화 관찰로 끝내지 말고 같은 입력을 오픈 모델에서 재현하고, 토큰별 로그 확률과 실제 실패 사례를 기록하는 실습으로 이어져야 한다. 특히 한국어는 영어보다 토큰 분절 양상이 다를 수 있으므로 GPT-2 영어 예시를 그대로 일반화하면 안 된다. LLM의 새 사회적 편향, 탐색이 만든 위험처럼 모델 행동은 입력과 탐색 조건에 따라 달라진다는 점도 함께 가르쳐야 한다.

자주 묻는 질문

Q1: 코딩 없이 사용할 수 있나요?

A: 그렇다. 브라우저에서 예문을 고르고 각 레이어와 토큰을 클릭해 볼 수 있다.

Q2: 최신 GPT 모델의 내부도 그대로 보여 주나요?

A: 아니다. GPT-2 small을 사용한 교육 도구이며 최신 상용 모델의 세부 구조와 가중치를 재현하지 않는다.

Q3: 어텐션이 높으면 그 단어가 답의 원인인가요?

A: 반드시 그렇지 않다. 어텐션은 정보 혼합 가중치이며 인과적 설명에는 별도의 개입과 검증이 필요하다.

Q4: 기업 교육에서 무엇을 측정해야 하나요?

A: 용어 암기보다 토큰화·샘플링·문맥 변화가 출력에 미치는 영향을 참가자가 예측하고 설명하는지 확인하는 편이 좋다.

Q5: 한국어 모델 학습에도 쓸 수 있나요?

A: 원리는 유용하지만 예시는 영어 GPT-2 기반이다. 한국어 토크나이저와 오픈 모델의 실제 결과를 병행해야 한다.