Qwen 3.8, 추론 프리필이 드러낸 증류의 그림자

1%의 추론이 답변을 크게 움직였다

wsxiaoys의 Reasoning prefills v1.1 실험은 작지만 민감한 질문을 던진다. 실험자는 45개 문제에 대해 GPT-5.5 Pro의 reasoning 첫 1%를 대상 모델의 reasoning channel에 넣은 뒤, 대상 모델이 생성한 visible answer의 첫 100토큰이 교사 모델 답변과 얼마나 겹치는지 측정했다. 점수는 unigram, bigram, trigram source recall의 평균이다.

결과에서 가장 눈에 띄는 모델은 Qwen3.8 A95B다. 전체 45개 문제에서 unprefilled 점수는 16.79%였지만 GPT-5.5 Pro reasoning prefill을 넣자 34.97%로 뛰었다. 변화량은 +18.18퍼센트포인트다. 특히 STEM 15문제에서는 19.26%에서 46.24%로 +26.99퍼센트포인트가 나왔다. 실험자는 Qwen이 GPT-5.5 Pro 또는 밀접한 관련 GPT 모델에서 학습했을 가능성을 시사한다고 해석한다.

이 실험은 벤치마크가 아니라 계보 탐침이다

이 결과를 곧바로 부정행위 증거로 읽는 것은 성급하다. 표본은 45문제이고, overlap metric은 정답 품질이 아니라 교사 답변과의 언어적 유사성을 본다. 그러나 흥미로운 점은 ordinary prompt가 아니라 reasoning channel의 작은 prefill이 특정 모델을 크게 움직였다는 사실이다. 이는 모델의 내부 표현이나 학습 데이터가 특정 교사 스타일에 민감하게 반응할 수 있음을 보여준다.

Stolen Thoughts와 이전 reasoning prefill 논의는 이미 비슷한 문제를 제기했다. 모델의 출력만 보면 독립적으로 추론한 것처럼 보여도, 중간 추론의 작은 힌트가 답변 궤적을 교사 쪽으로 당길 수 있다. LLM Attention 시각화, 설명 가능한 AI의 교육판이 설명 가능성 교육의 필요를 다뤘다면, 이번 실험은 설명 가능성의 산업적 버전이다. 모델이 왜 그런 답을 냈는지뿐 아니라 누구의 답변 습관을 닮았는지도 묻는다.

오픈 모델 경쟁의 약점은 출처 검증이다

오픈 가중치 모델의 장점은 배포 자유도와 비용이다. 그러나 학습 과정의 데이터 출처, 교사 모델 사용 여부, 합성 데이터 비율은 여전히 불투명한 경우가 많다. Mistral 옵트아웃, 토글 하나로는 부족하다가 말했듯 데이터 거버넌스는 선언보다 증명 문제다. 기업 고객은 모델 카드, 학습 데이터 정책, 평가 로그, 라이선스 보증을 함께 요구한다.

Hugging Face model cards와 NIST AI Risk Management Framework는 최소한의 문서화 기준을 제공한다. 다만 문서만으로는 부족하다. reasoning prefill 같은 계보 탐침, private synthetic puzzle, cross-model style overlap, watermark 혹은 provenance 추적이 함께 필요하다. OpenAI Astra 논쟁, 보이지 않는 추론의 비용에서 본 것처럼 숨겨진 추론은 성능을 올릴 수 있지만 감사 가능성을 낮춘다.

한국 기업의 실무 질문

국내 기업이 오픈 모델을 도입할 때는 성능표만 볼 수 없다. 고객 데이터와 결합해 서비스에 넣는 순간, 모델의 출처 리스크는 법무와 보안 리스크가 된다. 특정 상용 모델의 출력이나 추론을 무단 증류했다는 논란이 생기면, 모델 사용 기업도 공급망 설명을 요구받는다. 특히 금융, 공공, 의료, 교육 영역에서는 조달 문서에 모델 계보와 데이터 권리 확인을 넣어야 한다.

Gemini 3.8 Flash, 싸지만 더 쓰는 모델이 비용 문제를 다뤘다면, Qwen 실험은 싼 모델을 고를 때의 보이지 않는 비용을 보여준다. 빠르고 저렴한 오픈 모델은 매력적이지만, 중요한 워크플로에는 정량 성능, 출처 문서, 재현 평가, 벤더 면책 조건이 함께 필요하다.

자주 묻는 질문

Q1: 이 실험이 Qwen의 무단 학습을 증명하나요?

A: 증명이라고 보기는 어렵습니다. 다만 GPT-5.5 Pro 계열 추론 힌트에 Qwen3.8 A95B가 유난히 크게 반응했다는 강한 탐침 결과입니다.

Q2: reasoning prefill이란 무엇인가요?

A: 대상 모델이 답을 만들기 전에 다른 모델의 추론 일부를 reasoning channel에 넣어 답변 궤적이 어떻게 달라지는지 보는 방식입니다.

Q3: 왜 첫 100토큰 겹침을 보나요?

A: 초기 답변이 교사 모델 방향으로 끌리는지를 보기 위해서입니다. 품질 점수라기보다 유사성 지표입니다.

Q4: 기업 도입에서는 무엇을 확인해야 하나요?

A: 모델 카드, 학습 데이터 정책, 상용 모델 증류 여부, 라이선스, 재현 가능한 내부 평가, 벤더의 법적 보증을 확인해야 합니다.

Q5: 오픈 모델을 쓰면 위험한가요?

A: 그렇지는 않습니다. 다만 핵심 업무에는 성능과 비용뿐 아니라 데이터 출처와 감사 가능성을 구매 기준에 넣어야 합니다.