미공개 수학과 AI 신뢰의 균열

미공개 대화가 연구 인프라의 약점이 됐다

Andreas Thom의 Mathstodon 게시물은 OpenAI가 미공개 수학 논의와 모델 개선 사이의 경계를 어떻게 설명해야 하는지를 정면으로 묻는다. 그는 비소픽 군 관련 발표 뒤 자신과 동료들이 ChatGPT로 논의했던 문제들이 훈련 데이터에 들어갔는지, 혹은 추론 과정에서 접근 가능했는지를 물었다고 적었다. 답변은 "그런 일은 없었다"는 취지였지만, 이후 OpenAI가 다른 사안에서 "특정 사용자 데이터 접근은 없었으나 제품 사용에서 파생된 비식별 데이터가 모델 개선에 기여했을 가능성은 배제할 수 없다"고 설명했다는 점을 문제 삼았다.

핵심은 특정 정리가 누구의 것인가를 단정하는 데 있지 않다. 연구자가 아직 논문으로 공개하지 않은 아이디어를 AI 서비스에 넣을 때, 그 입력이 저장, 평가, 미세조정, 합성 데이터 생성, 내부 벤치마크, 모델 개선 루프 중 어디에 닿는지 알기 어렵다는 데 있다. OpenAI 개인정보 처리방침과 데이터 컨트롤 FAQ는 이용자에게 일부 제어권을 제공하지만, 수학 공동체가 요구하는 수준의 출처 추적과 연구 우선권 보장은 별도 문제다.

왜 수학에서 더 민감한가

코드나 문서와 달리 수학 아이디어는 짧은 대화 조각만으로도 방향성이 드러난다. "이 보조정리를 이런 구조에 붙이면 되지 않을까"라는 한 문장이 몇 달짜리 연구 계획을 압축할 수 있다. 그래서 미공개 수학 대화는 일반 고객 지원 로그보다 영업비밀이나 논문 초안에 가깝다. 테런스 타오의 수학 설명, AI 교육의 기준이 보여주듯 AI가 수학 학습을 돕는 가치는 크지만, 연구 현장에서는 학습 도구와 공동 저자, 데이터 수집기가 겹쳐 보일 수 있다.

또 하나의 문제는 검증 가능성이다. 모델 회사가 "접근하지 않았다"고 말해도, 외부 연구자는 이를 독립적으로 확인하기 어렵다. 학술 논문은 인용과 선행연구 공개를 통해 신뢰를 쌓지만, 폐쇄형 모델의 학습 데이터와 내부 평가 로그는 대부분 비공개다.

기업 고객의 데이터 통제와 연구자의 요구는 다르다

기업용 AI 계약은 보통 고객 데이터가 모델 훈련에 쓰이지 않는다는 조항을 강조한다. 그러나 개인 연구자가 일반 소비자 계정이나 실험용 API를 쓰는 경우에는 보호 수준이 다를 수 있다. Mistral 옵트아웃, 토글 하나로는 부족하다가 지적했듯 데이터 통제는 버튼 하나보다 조직 절차, 기본값, 감사 가능성이 중요하다.

한국 대학과 연구소도 이 문제를 남의 일로 볼 수 없다. AI로 논문 아이디어를 탐색하는 대학원생, 기업 연구소의 특허 전 아이디어, 정부 과제의 비공개 산출물이 모두 같은 위험에 놓인다. 단순히 "민감한 내용은 넣지 말라"는 지침만으로는 실제 연구 속도를 따라가기 어렵다.

연구용 AI에는 출처보다 경계가 먼저다

OpenAI, Anthropic, Google 같은 모델 기업은 점점 과학과 수학 성과를 제품 신뢰의 증거로 내세운다. 하지만 연구 공동체가 원하는 것은 "AI가 얼마나 똑똑한가"만이 아니다. 어떤 데이터로 배웠는지, 사용자의 미공개 질문이 향후 모델 행동에 어떤 흔적을 남기는지, 문제가 생겼을 때 누가 확인할 수 있는지가 더 중요해진다. AI 검색 최적화, 가짜 권위의 새 공급망에서 본 것처럼 출처가 흐려지는 순간 지식 생태계의 비용은 이용자에게 돌아온다.

연구기관은 최소한 프로젝트별 AI 사용 등급을 나눠야 한다. 공개 논문 요약, 공개 코드 검색, 비공개 증명 탐색, 특허 전 발명 상담을 같은 도구 정책으로 묶으면 안 된다. AI 회사도 연구자용 격리 모드, 영구 비학습 보장, 대화 단위 감사 영수증 같은 기능을 제품화해야 한다.

한국 개발자와 연구조직의 체크리스트

개발팀도 배울 점이 있다. 소스코드, 취약점 분석, 고객 데이터, 논문 초안은 모두 "모델에 넣을 수 있는 텍스트"처럼 보이지만 법적 지위는 다르다. VM 샌드박스, 사이버 에이전트 격리의 현실적 해법이 말한 격리 원칙을 데이터에도 적용해야 한다. 즉, 모델 능력을 믿기 전에 데이터 경계를 설계해야 한다.

자주 묻는 질문

Q1: 이 사안은 OpenAI가 표절했다는 뜻인가요?

A: 그렇게 단정할 근거는 없습니다. 핵심은 미공개 연구 대화가 모델 개선에 쓰였는지 확인할 수 있는 투명성이 충분한가입니다.

Q2: 비식별 데이터면 안전한가요?

A: 연구 아이디어는 개인정보와 다릅니다. 이름을 지워도 문제 구조와 증명 전략 자체가 가치일 수 있습니다.

Q3: 연구자는 AI를 쓰지 말아야 하나요?

A: 공개 자료 요약과 계산 보조에는 유용합니다. 다만 미공개 핵심 아이디어는 비학습 보장이 명확한 계약 환경에서만 다루는 편이 안전합니다.

Q4: 기업은 어떤 정책을 만들어야 하나요?

A: 입력 가능한 데이터 등급, 허용 모델, 로그 보존, 옵트아웃 기본값, 사고 대응 책임자를 문서화해야 합니다.

Q5: 모델 회사가 신뢰를 회복하려면 무엇이 필요할까요?

A: 연구용 격리 모드, 독립 감사, 대화별 데이터 사용 증명, 명확한 비학습 계약이 필요합니다.