타오의 경고, 좋은 수학 문제도 비재생 자원이다

좋은 문제는 무한하지 않다

테런스 타오의 Mathstodon 글은 좋은 공개 수학 문제가 AI에 의해 "비재생적으로 채굴"될 수 있다는 우려를 제기했다. 그는 가능한 문제의 집합은 무한하지만, 통찰을 낳고 현재 기술로 접근 가능하며 다른 질문과 연결되는 좋은 문제는 희소하다고 설명한다. 바닷물이 많아도 마실 물이 부족할 수 있다는 비유다.

이 지적은 AI 수학 성과를 보는 방식에 균열을 낸다. 모델이 공개 문제를 더 많이 풀수록 우리는 진보를 느끼지만, 동시에 평가와 연구의 연료가 줄어들 수 있다. 수학 발견 에이전트, 논문보다 검증 로그가 중요하다가 검증을 다뤘다면, 이번 글은 문제 자체의 공급망을 말한다.

벤치마크 고갈은 수학에도 온다

AI 업계는 이미 벤치마크 포화 문제를 겪었다. ImageNet, MMLU, HumanEval 같은 공개 과제가 널리 쓰일수록 모델은 평가를 직접 또는 간접적으로 학습한다. 수학 오픈 문제도 비슷한 위험을 갖는다. 유명한 문제와 공개 풀이 시도는 모델 학습 데이터에 들어갈 가능성이 높고, AI가 그 주변 문제를 대량으로 탐색하면 남은 좋은 문제의 분포가 바뀐다.

Epoch AI의 benchmark 관련 연구와 METR의 AI R&D 평가는 평가 자원의 품질과 오염을 중요한 이슈로 다룬다. 수학은 더 까다롭다. 좋은 문제는 단순히 난이도 숫자로 생성되지 않는다. 분야 맥락, 미해결 이유, 풀이가 열어줄 연결, 후속 연구 가능성이 함께 필요하다.

과학 에이전트의 병목은 질문이다

최근 AI 연구 자동화는 풀이, 증명, 실험 설계, 문헌 검색을 빠르게 개선하고 있다. OpenAI 연구와 DeepMind 과학 AI는 수학과 과학 문제 해결을 핵심 영역으로 본다. 하지만 타오의 경고는 다른 병목을 가리킨다. 풀이 엔진이 강해질수록 "무엇을 풀 것인가"가 더 중요해진다.

한국 대학과 연구기관에도 시사점이 있다. 공개 문제를 AI에게 던져 성과를 내는 것만으로는 장기 경쟁력이 생기지 않는다. 문제를 구조화하고, 선행 지식을 기록하고, 실패한 접근과 부분 결과를 남기는 연구 데이터 관리가 중요해진다. Academa, 강의 영상을 코드로 만드는 교육 AI 실험이 교육 자료의 코드화를 다뤘다면, 연구 문제도 기계가 읽을 수 있는 형식으로 큐레이션해야 한다.

공개성과 보존 사이의 긴장

수학은 공개 문제와 공개 토론으로 발전해왔다. AI 때문에 문제를 숨기자는 결론은 위험하다. 대신 문제의 출처, 난이도, 공개 시점, 풀이 접근 기록을 더 정교하게 남기는 방향이 현실적이다. arXiv와 OpenReview 같은 공개 학술 인프라는 앞으로 문제 데이터셋의 provenance까지 다뤄야 할 수 있다.

AI 기업도 책임이 있다. 공개 문제를 성능 홍보에 쓰려면 어떤 데이터에 노출됐는지, 사람이 만든 새로운 문제인지, 기존 문제의 변형인지 밝혀야 한다. EEBench, AI 하드웨어 설계의 시험대를 만들다가 도메인 평가셋의 중요성을 보여준 것처럼, 수학 평가도 생성보다 큐레이션이 핵심이다.

자주 묻는 질문

Q1: 문제는 무한히 만들 수 있는데 왜 고갈되나요?

A: 임의 문제는 무한하지만, 통찰을 주고 현재 지식과 연결되며 풀 가치가 있는 문제는 훨씬 적기 때문입니다.

Q2: AI가 공개 문제를 푸는 것이 나쁜가요?

A: 아닙니다. 문제는 성과를 평가하고 축적하는 방식입니다. 출처와 데이터 노출 여부를 더 투명하게 관리해야 합니다.

Q3: 수학 벤치마크도 오염될 수 있나요?

A: 가능합니다. 공개 풀이와 토론이 학습 데이터에 포함되면 평가가 실제 일반화 능력을 덜 반영할 수 있습니다.

Q4: 연구자는 무엇을 준비해야 하나요?

A: 문제의 배경, 실패한 접근, 부분 결과, 공개 시점, 검증 로그를 체계적으로 남기는 습관이 필요합니다.

Q5: 한국 AI 연구에 주는 메시지는 무엇인가요?

A: 풀이 모델 개발만큼 문제 큐레이션과 평가 인프라가 중요합니다. 좋은 질문을 만드는 역량이 경쟁력이 됩니다.