OpenAI 수학 원고 교정, 검증 공동체가 생기다

새로 생긴 것은 수학 결과가 아니라 검토의 공간

10월 24일 Terence Tao의 블로그에는 oai-math-revised 소개 글이 게시됐다. 본문은 Abhinav Nellore, Johannes Schmitt, Soledad Villar, Rachel Ward의 기고문이다. 따라서 Tao가 모든 원고의 정확성을 확인해 보증했다는 의미로 읽어서는 안 된다.

기고문은 OpenAI의 수학 원고가 이해하기 어렵거나 인용이 불완전할 수 있다며, 학생·박사후연구원·교수·관심 있는 독자가 개선에 참여하도록 초대한다. 이번 뉴스는 기존 수학 결과 공개와 구분되는 후속 전개다. 핵심은 새 난제 해결 건수를 발표했다는 데 있지 않고, 원고의 설명과 근거를 공동으로 다듬을 저장소가 만들어졌다는 데 있다.

커뮤니티 저장소와 분야별 탐색 사이트는 논문별 PDF, 메모, 문제 제기와 참고문헌 추가 경로를 제공한다. 사이트는 원고가 동료심사를 거친 것이 아니며, 메모가 지금까지 점검·수정·질문한 내용을 기록한다고 명시한다.

719개 원고를 719개 확정 발견으로 읽지 말아야

확인 시점의 OpenAI 원본 저장소는 719개 원고를 372개 결과군으로 묶었다고 설명한다. 한 결과군에는 주된 결과, 보조 논증, 따름 결과, 대체 증명이 함께 들어갈 수 있다. 따라서 원고 수와 독립적인 수학적 발견의 수는 같지 않다. 목록은 수정될 수 있으므로 숫자는 확인 시점의 규모로 이해하는 편이 정확하다.

원본 안내는 검증 단계가 서로 다르고 모든 결과에 Lean 형식화가 붙어 있지는 않다고 밝힌다. 일부 비형식화 결과에 문제가 있을 가능성도 인정한다. 커뮤니티 검토 공간은 이 불균질한 상태를 하나의 “검증 완료” 배지로 압축하기보다, 어느 원고의 어느 부분이 점검됐는지를 기록할 필요가 있다.

OpenAI 수학 결과 공개 당시의 분석에서 제기한 증명과 이해 사이의 차이가 여기서 구체적인 협업 과제로 바뀐다. 이번 기사는 당시 발표를 재포장하는 대신 그 뒤에 생긴 검토 절차를 다룬다.

형식 증명과 읽을 수 있는 설명은 다른 자산

형식 검증은 명시된 정의와 가정 아래에서 증명 단계가 규칙에 맞는지 확인하는 강력한 수단이다. 그러나 독자가 어떤 기존 정리와 연결되는지, 핵심 아이디어가 무엇인지, 중요한 가정이 자연어에서 누락되지 않았는지 이해하는 작업은 별도로 남는다. 인용이 충분한지나 결과의 새로움도 기계적 통과 여부만으로 결정되지 않는다.

이 구분은 InnovationEval의 새로움 평가 문제와도 통한다. 모델의 점수나 결과량보다 사람이 재사용할 수 있는 지식으로 정착했는지가 중요하다.

프로젝트가 제시한 기여 방식

저장소는 원고 수정 PR, 변경 제안 이슈, 논문별 NOTES.md 갱신이라는 세 가지 참여 경로를 안내한다. TeX를 직접 고친 경우에는 다시 컴파일한 PDF도 갱신하도록 요청한다. 메모에는 채택된 변경, 후속 연구, 건설적인 검토, 함께 읽을 사람을 정리할 수 있다. 다른 사람의 이름을 추가할 때에는 동의를 요구한다.

또한 언어모델·증명 보조기·수학 소프트웨어를 실질적으로 사용했다면 공개하도록 안내한다. 이는 자동화를 배제하는 규칙이 아니라 기여의 성격을 판단할 정보를 남기는 방식이다. AI가 수정한 문장을 사람이 확인했는지, 증명 보조기가 어느 범위를 검사했는지 구분할 수 있어야 검토의 책임이 흐려지지 않는다.

협업 저장소가 생겼다고 검토 노동의 비용 문제가 해결되는 것은 아니다. 대규모 원고를 공개한 조직과 자발적으로 검토하는 공동체 사이에는 시간과 자원의 비대칭이 있다. 이 부분은 사업적·제도적 쟁점이며, 이번 소개 글만으로 보상 체계가 마련됐다고 판단할 근거는 없다.

한국 연구팀과 AI 기업의 시사점

국내 연구실은 전체 목록을 한꺼번에 평가하기보다 전문 분야의 좁은 결과군을 골라 읽기 모임을 운영할 수 있다. 원문, 수정본, 추가 문헌, 확인되지 않은 주장을 분리하면 학생도 자신의 기여 범위를 명확하게 남길 수 있다. 중요한 것은 모델이 쓴 원고라는 이유로 무조건 인정하거나 거부하지 않고, 동일한 검토 기준을 적용하는 일이다.

기업의 연구 에이전트에도 이 구조를 적용할 수 있다. 보고서나 기술 메모를 생성하는 기능과 함께, 출처의 특정 문단, 수정 제안, 검토자, 미해결 이슈를 보존하는 기능을 설계하는 것이다. 새로운 내용을 많이 출력하는 제품보다 팀이 검증한 내용을 안정적으로 쌓는 제품이 장기적으로 재사용 가치를 만들 수 있다.

Claude의 ECDSA 생성 이력 추적 사례에서도 결론만큼 재현 가능한 근거의 경로가 중요했다. 수학 원고 교정 프로젝트의 의미도 바로 그 경로를 공개적인 협업 대상으로 만든 데 있다.

자주 묻는 질문

Tao가 OpenAI 원고 전체를 검증했다는 뜻인가?

아니다. 그의 블로그에 실린 네 연구자의 기고문이며, 프로젝트 소개가 모든 결과의 정확성 보증을 뜻하지 않는다.

719개는 해결한 난제의 수인가?

아니다. 저장소의 원고 수다. 관련 원고를 묶은 결과군은 372개로 안내되며, 모두 같은 검증 단계에 있지 않다.

Lean으로 검증되면 인용 검토가 필요 없는가?

아니다. 형식적 성립 여부와 선행 연구의 적절한 인용, 설명의 명료성은 다른 평가 대상이다.

코드 수정 없이도 참여할 수 있는가?

프로젝트는 이슈 제안과 논문별 메모 작성도 안내한다. 변경은 검토 대상이며, 자신의 전문성과 확인 범위를 드러내는 것이 중요하다.

AI를 써서 교정해도 되는가?

안내는 실질적인 자동화 사용을 공개하도록 요청한다. 어떤 도구를 썼고 사람이 무엇을 확인했는지 기록하는 것이 핵심이다.