Real-SWE, 사내 코드 벤치마크의 반격

공개 저장소 밖으로 나온 코딩 평가

Specific Labs의 Real-SWE는 코딩 에이전트 벤치마크가 어디로 가야 하는지 보여준다. 이 벤치마크는 공개 인터넷에 없는 사유 프로덕션 코드베이스를 라이선스해 모델을 평가한다고 설명한다. 페이지 메타 설명 기준으로 8개 모델과 하네스 조합, 10개 작업, 640회 채점 롤아웃을 다룬다.

이 접근은 SWE-bench가 만든 흐름의 다음 단계다. SWE-bench는 실제 오픈소스 이슈를 평가 대상으로 삼아 장난감 문제의 한계를 넘었다. Real-SWE는 여기서 한 발 더 들어가 회사별 규칙, 결제와 세금 같은 업무 결과, 공개 학습 데이터에 없는 맥락을 시험한다. SWE-2가 말하는 코딩 모델의 비용 전선과 같은 문제의식이다.

상위 점수보다 실패 분류가 중요하다

Real-SWE 페이지는 리더보드뿐 아니라 실패 유형을 보여준다. 공개된 내용에서는 Fable 5.1, GPT-6 Astra, Gemini 3.8 Flash 등 여러 모델과 하네스가 비교된다. 중요한 것은 어느 모델이 1위인지보다 실패가 왜 일어났는지다. 요구사항 누락, 검증되지 않은 가정, 통합 오류는 기업 환경에서 각각 다른 비용을 만든다.

OpenAI Agents API, 에이전트 운영을 API로 묶다는 하네스가 모델만큼 중요해지는 흐름을 짚었다. Real-SWE도 같은 말을 숫자로 보여준다. 모델 이름 옆에는 Codex CLI, Claude Code, Gemini CLI 같은 실행 환경이 붙는다. 이제 코딩 성능은 모델 단품이 아니라 저장소를 탐색하고 테스트를 돌리고 수정을 되돌리는 작업 체계의 성능이다.

한국 기업의 PoC 방식도 바뀌어야 한다

한국 기업은 코딩 에이전트 도입을 데모 영상이나 공개 벤치마크 점수로 결정하면 안 된다. 우리 저장소에서 실제로 닫힌 이슈 수, 리뷰어가 되돌린 비율, CI 재시도 비용, 보안 예외 발생 수를 봐야 한다. 특히 사내 프레임워크, 한글 도메인 문서, 오래된 배치 작업, 권한이 필요한 레거시 시스템은 공개 벤치마크와 다른 난도를 만든다.

코딩 에이전트가 고르는 도구가 시장을 정한다는 에이전트의 도구 선택이 기술 표준까지 바꿀 수 있다고 봤다. Real-SWE의 의미도 여기에 있다. 기업은 "모델이 코드를 잘 쓰는가"보다 "우리 방식의 변경 절차를 지키는가"를 물어야 한다.

벤치마크는 구매 문서가 아니라 위험 지도다

OpenAI Codex, Anthropic Claude Code, Google Gemini CLI처럼 코딩 에이전트 도구가 늘수록 리더보드는 구매 담당자에게 매력적인 요약이 된다. 하지만 실제 구매 문서는 점수표가 아니라 위험 지도여야 한다. 어떤 작업을 자동화할지, 어떤 실패는 사람이 즉시 볼지, 어떤 디렉터리는 읽기 전용으로 둘지, 어떤 테스트가 승인 게이트인지가 먼저 정해져야 한다.

Real-SWE는 그래서 기업 AI 도입의 좋은 압박이다. 공개 점수만 믿고 사내 코드에 에이전트를 풀기 어렵다는 사실을 드러낸다. 동시에 기업이 자기만의 Real-SWE를 만들어야 한다는 숙제도 던진다.

자주 묻는 질문

Q1: Real-SWE는 SWE-bench와 무엇이 다른가요?

A: SWE-bench가 공개 오픈소스 이슈 중심이라면 Real-SWE는 비공개 기업 코드와 업무 영향이 있는 작업을 강조합니다.

Q2: 최고 점수 모델을 고르면 되나요?

A: 아닙니다. 하네스, 저장소 맥락, 실패 유형, 리뷰 비용을 함께 봐야 합니다.

Q3: 기업 내부에서 어떻게 재현할 수 있나요?

A: 최근 닫힌 실제 이슈를 골라 테스트, 보안, 리뷰 기준을 포함한 사내 벤치마크 세트를 만드는 방식이 현실적입니다.

Q4: 비공개 코드 평가는 왜 중요한가요?

A: 공개 코드에는 모델 학습 데이터 오염 가능성과 익숙한 패턴이 있습니다. 사내 코드는 회사 규칙과 숨은 제약을 봅니다.

Q5: 개발자에게 나쁜 소식인가요?

A: 대체의 신호라기보다 업무 분류의 신호입니다. 반복 수정은 에이전트에 맡기고 설계, 검토, 책임 있는 배포가 더 중요해집니다.