Never Give Up, RL은 어려운 문제를 다시 배운다
RL 성능 향상 평균값은 쉬운 문제의 개선을 과대대표할 수 있다. 어려운 문제에 신호를 되돌리는 샘플링 정책이 다음 경쟁 축이다.
AI 뉴스를 놓치지 마세요
매주 핵심 AI 소식을 이메일로 받아보세요.
평균 점수는 어려운 문제를 숨긴다
Michael Noukhovitch의 글 Learning to Solve Hard Problems in RL for LLMs by Never Giving Up은 LLM 강화학습 사후학습에서 중요한 착시를 짚는다. AIME 2025 평가를 난이도별로 나누면 전체 평균은 오르지만, 초기 모델이 pass@32에서도 0에 가까운 어려운 문제는 거의 개선되지 않는다는 것이다. 저자는 이를 "Matthew Effect", 즉 잘하는 문제를 더 잘하게 되는 현상으로 설명한다.
이 문제는 연구 에이전트는 왜 벤치마크에만 과적합하지 않나와 좋은 짝을 이룬다. 벤치마크 점수가 올랐을 때 그것이 압축 가능한 전략 학습인지, 쉬운 문제 반복 숙달인지 구분해야 한다. 다음 토큰 예측자라는 말은 왜 부족한가에서 다룬 RLVR 논의도 결국 보상 신호가 어디서 오는지를 묻는다.
NGU는 샘플링 정책의 문제로 본다
저자는 GRPO류 학습에서 한 프롬프트에 대해 k개의 완성을 뽑고 모두 틀리면 학습 신호가 사라지는 문제를 다룬다. 직관적으로는 k를 키우면 어려운 문제의 정답을 더 자주 찾을 것 같지만, 실험은 단순하지 않다. k=32는 초기에 어려운 문제를 잡는 데 유리할 수 있으나, 쉬운 문제에서 드문 오답까지 학습 배치에 남겨 계산을 낭비할 수 있다. 반대로 k=4는 쉬운 문제를 빨리 걸러내지만 어려운 문제의 희귀 정답을 놓친다.
Never Give Up은 이 둘을 섞는다. 작은 k로 시작하되, 모두 틀린 문제를 일정 확률 p로 다시 생성 큐에 넣는다. 글에서는 k=4와 p=0.9 같은 설정이 어려운 문제에 더 많은 기회를 주면서 쉬운 문제에는 계산을 덜 쓰는 효과를 보였다고 설명한다. arXiv, Allen AI의 OLMo, SWE-bench, LiveCodeBench 같은 평가 생태계에서 이런 난이도별 분석은 더 중요해질 것이다.
| 학습 설정 | 장점 | 약점 | NGU의 해석 |
|---|---|---|---|
| 큰 k | 희귀 정답 발견 | 쉬운 문제 오답에도 계산 낭비 | 초반 탐색만 가져온다 |
| 작은 k | 쉬운 문제 빠른 필터 | 어려운 문제 신호 손실 | 기본 비용을 낮춘다 |
| 커리큘럼 | 난이도 통제 | 사전 난이도 추정 필요 | 온라인 적응으로 보완 |
| NGU | 어려운 문제 재시도 | 구현과 상태 관리 필요 | 신호 효율을 높인다 |
모델 경쟁은 평균에서 분포로 이동한다
프런티어 모델 경쟁은 오랫동안 평균 점수와 리더보드 순위로 설명됐다. 하지만 실제 제품에서는 어려운 문제의 꼬리가 중요하다. 수학 튜터는 쉬운 문제 95개를 잘 푸는 것보다 학생이 막히는 5개 문제에서 다른 풀이 경로를 찾아야 한다. 코딩 에이전트도 간단한 버그 수정보다 불확실한 재현, 모호한 테스트, 낡은 레거시 코드에서 가치가 크다.
Real SWE, 비공개 기업 코드 벤치마크는 공개 평가와 실제 업무 사이의 간극을 다뤘다. NGU 논의는 그 간극을 학습 과정 내부로 가져온다. "모델이 평균적으로 좋아졌다"가 아니라 "초기에는 못 풀던 업무군도 좋아졌나"를 봐야 한다.
한국 연구팀의 기회는 평가 해부에 있다
한국 기업과 연구팀이 거대 사후학습 경쟁에 곧장 뛰어들기는 쉽지 않다. 하지만 평가를 난이도별로 해부하고, 산업별 어려운 문제에 신호를 되돌리는 데이터 파이프라인을 만드는 것은 현실적인 차별화다. 예컨대 한국어 법률 질의, 제조 설비 로그, 의료 문서 요약, 공공 민원 처리에서 "초기 모델이 못하던 케이스"만 별도로 추적하면 평균 점수보다 제품 개선 방향이 선명해진다.
NGU의 메시지는 단순하다. 어려운 문제를 정말 풀고 싶다면 어려운 문제에 다시 계산을 써야 한다. 모델 학습도, 에이전트 운영도, 사람 조직도 여기서는 닮아 있다.
자주 묻는 질문
Q1: Matthew Effect는 무엇인가요?
A: LLM RL에서 초기 모델이 이미 어느 정도 풀던 쉬운 문제가 더 많이 개선되고, 어려운 문제는 그대로 남는 현상을 뜻합니다.
Q2: k를 키우면 해결되지 않나요?
A: 항상 그렇지 않습니다. 큰 k는 어려운 문제의 정답을 찾는 데 도움을 주지만, 쉬운 문제의 드문 오답까지 학습하게 만들어 계산을 낭비할 수 있습니다.
Q3: Never Give Up은 무엇을 바꾸나요?
A: 모두 틀린 문제를 일정 확률로 다시 샘플링해 어려운 문제에 더 많은 기회를 줍니다. 작은 k의 효율과 큰 k의 탐색성을 섞는 방식입니다.
Q4: 제품 평가에는 어떤 의미가 있나요?
A: 전체 평균 점수만 보지 말고 초기 난이도별 성능 변화를 봐야 합니다. 실제 사용자 가치는 어려운 꼬리 문제에서 나오는 경우가 많습니다.
Q5: 한국어 AI에도 적용할 수 있나요?
A: 가능합니다. 한국어 법률, 의료, 제조, 공공 문서처럼 어려운 케이스를 따로 분류하고 재시도 신호를 설계하는 방식으로 응용할 수 있습니다.
📰 원본 출처
mnoukhov.github.io이 기사는 AI 기술을 활용하여 작성되었으며, 원본 뉴스 소스를 기반으로 분석 및 해설을 추가한 콘텐츠입니다. 정확한 정보 전달을 위해 노력하고 있으나, 원본 기사를 함께 확인하시기를 권장합니다.