AI 연구의 젠, 에이전트 시대의 실험 태도

더 많은 실험보다 더 좋은 질문

Zen and the Art of Machine Learning Research는 머신러닝 연구를 기술 목록이 아니라 태도의 문제로 다룬다. 모델, 벤치마크, 논문 속도가 빨라질수록 연구자는 무엇을 묻고, 어떤 실패를 믿으며, 어떤 결과를 과장하지 않을지 더 신중해야 한다는 메시지다. AI 에이전트가 실험 코드와 분석을 대신 작성하는 시대에는 이 주제가 더 중요해진다.

연구 자동화는 반복 작업을 줄인다. 하지만 좋은 연구 질문을 자동으로 만들어주지는 않는다. 오히려 실행 비용이 낮아지면 사소한 실험이 늘고, 우연한 개선이 의미 있는 발견처럼 보일 위험이 커진다. 이것은 Sutton의 The Bitter Lesson이 말한 큰 계산과 일반 방법의 힘을 부정하는 이야기가 아니다. 계산이 중요할수록 무엇을 계산할지 고르는 판단도 중요해진다는 이야기다.

에이전트 연구의 생산성 착시

코딩 에이전트는 실험 스크립트, ablation 표, 분석 노트, 시각화를 빠르게 만든다. 그러나 그 속도는 연구 품질과 다르다. 잘못된 데이터 분할, 오염된 벤치마크, 과적합된 프롬프트, 통계적으로 약한 비교, 재현되지 않는 seed 하나가 전체 결론을 흔들 수 있다. SWE-bench 논문처럼 실제 소프트웨어 문제 해결을 측정하려는 시도도 벤치마크 설계가 얼마나 어려운지 보여준다.

에이전트가 연구 보조자가 될수록 연구자는 오히려 더 엄격한 실험 문화를 가져야 한다. 어떤 가설을 세웠는가, 실험 전에 성공 기준을 정했는가, baseline은 공정한가, 실패한 결과도 남겼는가, 결과가 제품 환경에 옮겨갈 수 있는가를 계속 확인해야 한다.

IRO, 에이전트 과학의 새 시험장은 에이전트가 과학 실험 자체의 대상이 되는 흐름을 다뤘다. 이때 연구 방법론의 품질은 모델 성능만큼 중요하다.

작은 구현이 큰 이해를 만든다

AI 연구 문화에서 좋은 해독제 중 하나는 작은 구현이다. nanoGPT speedrun 같은 프로젝트는 모델 학습의 핵심 요소를 압축적으로 보여준다. 거대한 프레임워크 뒤에 숨지 않고 데이터, optimizer, normalization, schedule, kernel, 평가 루프를 직접 만지면 논문의 주장과 실제 병목 사이의 거리가 보인다.

이 관점은 Fabrice Bellard가 AI 시대에 주는 기준과도 닿아 있다. 연구자는 더 많은 라이브러리를 아는 사람보다 시스템이 왜 그런 속도와 품질을 내는지 설명할 수 있는 사람이어야 한다. 에이전트가 구현을 도와주더라도, 연구자가 시스템을 설명하지 못하면 결과를 믿기 어렵다.

평가가 연구 태도를 만든다

연구자가 무엇을 최적화하는지는 평가가 정한다. 리더보드가 하나의 숫자만 보상하면 연구는 그 숫자를 좇는다. 반대로 실패 사례, 비용, 데이터 품질, 재현성, 배포 가능성까지 평가하면 더 건강한 연구가 가능하다. OpenRouter 배틀로얄, 에이전트 평가의 빈틈은 모델 간 경쟁이 재미있는 데모가 되기 쉽지만 실제 능력의 설명력은 부족할 수 있다고 지적했다.

AI 에이전트 연구에서도 같은 문제가 반복된다. 특정 웹 작업, 특정 코딩 과제, 특정 게임 환경에서 점수가 올라도 실제 업무에서 유용하다는 뜻은 아니다. 연구자는 점수를 올리는 방법과 문제를 이해하는 방법을 구분해야 한다. 불확실한 인용이나 수치를 확정처럼 쓰지 않는 태도 자체가 연구의 일부다.

한국 연구팀과 스타트업에 주는 메시지

한국 AI 팀은 대형 모델을 처음부터 학습하기보다 오픈 모델, 파인튜닝, RAG, 에이전트 orchestration, 도메인 데이터로 승부하는 경우가 많다. 이 환경에서는 연구 태도가 곧 제품 품질이다. 새로운 프레임워크를 빨리 붙이는 것보다 왜 그 접근이 고객 문제를 푸는지, baseline 대비 무엇이 나아졌는지, 실패하면 어떻게 되돌릴지 설명해야 한다.

AI는 코드다, 프롬프트만으론 안전해지지 않는다는 AI 시스템을 소프트웨어처럼 관리해야 한다고 했다. 연구도 마찬가지다. 실험 로그, 데이터 버전, 평가 스크립트, 실패 노트, 비용 기록이 없으면 빠른 실험은 빠른 혼란이 된다.

연구의 젠은 느리게 하자는 말이 아니다

이 글의 메시지는 속도를 포기하자는 것이 아니다. 오히려 자동화가 연구 속도를 높이는 시대일수록 더 명확한 질문과 더 정직한 기록이 필요하다는 뜻이다. 좋은 연구자는 에이전트를 써서 더 빨리 움직이되, 결과를 믿기 전에는 더 천천히 의심한다. 그 균형이 앞으로의 AI 연구 문화와 제품 신뢰를 가를 것이다.

Lathe, LLM을 지름길이 아닌 학습 도구로 쓰다가 말한 학습 태도와도 연결된다. AI는 지름길이 될 수도 있고, 이해를 깊게 하는 실험 도구가 될 수도 있다. 차이는 질문을 던지는 사람에게 있다.

자주 묻는 질문

Q1: 이 글은 AI 연구 자동화를 반대하나요?

A: 아니다. 자동화는 유용하지만 연구 질문, 평가 설계, 실패 해석까지 대신해주지는 않는다는 점을 강조한다.

Q2: 에이전트가 연구자를 대체할 수 있나요?

A: 반복 구현과 문서화는 상당 부분 도울 수 있다. 그러나 중요한 가설 선택과 결과의 의미 해석은 여전히 연구자의 책임이다.

Q3: 스타트업에는 어떤 의미가 있나요?

A: 빠른 실험보다 고객 문제와 연결된 평가, 비용 기록, 실패 복구 체계를 갖춘 팀이 더 오래 간다.

Q4: 좋은 연구 로그에는 무엇이 있어야 하나요?

A: 데이터 버전, 코드 커밋, 실험 설정, baseline, 실패 사례, 비용, 평가 스크립트, 결론의 한계를 남기는 것이 좋다.

Q5: 가장 큰 위험은 무엇인가요?

A: 에이전트가 만들어준 그럴듯한 결과를 충분히 검증하지 않고 논문, 제품, 투자 스토리로 확대하는 것이다.