DAYJOB Tax, 세무 AI의 낮은 합격률이 묻는 것

세무 AI가 계산을 정확하게 해도 좋은 자문을 했다고 말할 수 있을까. Surge AI가 10월 27일 공개한 DAYJOB: Tax는 질문에 답하는 능력보다, 무엇을 확인해야 하는지 스스로 알아내는 능력을 시험한다. 고객의 요청부터 최종 산출물까지 책임지는 업무를 평가했을 때 선두 모델의 합격률도 10.8%에 그쳤다는 결과다.

50개 업무는 단순 세법 퀴즈가 아니다

공식 설명에 따르면 평가에는 8개 세무 분야의 50개 환경과 1,789개 파일이 포함된다. 업무당 파일 수의 중앙값은 30개이고 최대는 123개다. PDF 1,487개, Excel 117개, Word 38개 외에도 이메일·이미지·CSV 등 여러 형식이 섞여 있다.

각 환경은 세금 신고, 작업 문서, 기술 검토, 고객 자문 같은 산출물을 요구한다. 장부와 영수증의 일치 여부, 여러 지역에서 수행한 업무, 결혼 여부처럼 계산의 전제가 되는 사실을 먼저 검토해야 한다. 세무 전문가가 과제를 만들고 정확성·완전성·해결 가능성을 세 단계로 검토했다고 연구진은 설명한다.

공개 데이터셋과 리더보드는 방법과 결과를 확인하는 출발점이다. 다만 이 기사는 공개 설명을 분석한 것이며 과제를 직접 재실행한 독립 평가가 아니다.

합격률 10.8%는 정확도 10.8%와 다르다

발표 시점 결과에서 Claude Sonnet 5.5가 10.8%, Fable 5.1이 9.6%, Opus 5.5가 9.2%로 소개됐다. 채점은 과제별 기준의 95% 이상을 충족해야 합격하는 pass@1 방식이다. 숫자만 보고 모델이 세금 문제의 약 90%를 틀렸다고 해석하면 안 된다.

엄격한 문턱은 거의 완성된 답변의 중요한 누락을 드러내는 데 유용하다. 반면 부분적으로 유용한 결과까지 합격·불합격으로 압축한다. 그래서 도입 판단에는 과제별 점수, 실패의 심각도, 사람의 수정 시간을 함께 봐야 한다. 작은 점수 차이를 모든 업무에서의 우열로 확대할 근거도 부족하다.

서로 다른 실패가 보여주는 전문적 판단

첫 사례는 주택 매각 시점 비교다. 공개 설명에서 Astra는 두 매각 예정일의 거주 요건을 올바르게 판단했지만, 자격이 끝날 수 있는 이후의 중요한 시한은 다섯 번 모두 놓쳤다. Opus는 다섯 번 모두 그 시한을 지적했다. 고객이 묻는 두 날짜를 비교하는 것과 고객의 의사결정 위험을 알려 주는 것은 다른 작업이다.

반대 방향의 사례도 있다. 별거하는 부부의 은퇴 계좌 분할에서 Opus 5.5는 다섯 번 모두 미혼이라는 가정을 중심으로 권고했다고 한다. 문서에는 다른 주에서의 관계 이력이 있었고, Astra는 다섯 번 중 네 번 법적 혼인 상태 확인이 필요하다고 인식했다. 한 사례에서 잘한 모델이 다른 종류의 전제 검증에서도 항상 우수한 것은 아니다.

이 사례는 미국 세법과 사실관계에 대한 평가 맥락이다. 주택 양도 관련 제도를 더 확인하려면 IRS Publication 523 같은 공식 자료를 봐야 한다. 기사에 등장하는 한도와 날짜를 한국 납세자에게 바로 적용할 수는 없다.

경쟁의 단위는 지식에서 업무 완성도로 넓어진다

기존 TaxCalcBench는 신고값의 계산 정확도에 초점을 둔 비교 지점을 제공한다. DAYJOB은 계산 이전의 쟁점 발견과 증거 확인, 이후의 산출물 완성도를 함께 묻는다. 어느 평가가 무조건 우월하다기보다 실패를 관찰하는 위치가 다르다.

연구 평가의 점수와 새로운 발견에서 논의했듯 시험이 무엇을 보상하는지 알아야 결과를 해석할 수 있다. 업무 에이전트에서는 정답 문장보다 근거 문서, 해결하지 못한 전제, 추가 확인 요청을 산출물에 남기는 능력이 중요해진다.

한국 세무법인이나 기업 재무팀은 문서 정리, 누락 증빙 표시, 초안 작성부터 범위를 나눌 수 있다. 신고 완료나 고객에게 확정 자문을 전달하는 단계는 별도의 검토 대상으로 남기고, 자동화가 절약한 시간에서 검토와 수정 시간을 빼야 한다. AI 사용량과 이익의 차이는 전문직에서도 그대로 적용된다.

한국형 시험에는 현지 문서와 반례가 필요하다

국내 적용을 검토한다면 개인정보를 제거한 실제 서류 구조, 국내 용어, 신고 연도별 규정을 반영해야 한다. 단순한 정상 사례만 넣지 말고 누락 영수증, 서로 충돌하는 계약서 날짜, 사업 구분이 모호한 거래처럼 사람이 멈추고 확인해야 하는 상황을 넣는 편이 좋다.

측정 항목도 계산 오차, 핵심 쟁점 누락, 근거 없는 단정, 불필요한 확인 요청, 전문가 수정 시간으로 분리할 수 있다. 지나치게 많은 확인 질문도 업무를 느리게 한다. 중요한 전제를 정확히 골라 묻는 능력을 봐야 한다. 의료 AI의 판단 문턱처럼 오류의 빈도뿐 아니라 결과의 심각도가 운영 설계를 바꾼다.

자주 묻는 질문

합격률이 낮으면 세무 AI는 쓸모없나?

그렇지 않다. 엄격한 종단간 평가 결과다. 문서 분류나 초안처럼 범위를 좁힌 작업의 효용과 별도로 판단해야 한다.

10.8%는 계산 정확도인가?

아니다. 과제 채점 기준의 95% 이상을 만족한 시도의 비율이다. 계산, 근거, 주요 쟁점, 완성된 산출물이 함께 평가된다.

선두 모델을 고르면 모든 실패를 줄일 수 있나?

공개 사례에서도 모델마다 다른 전제를 놓쳤다. 자신의 업무 유형과 실패 비용에 맞춘 별도 평가가 필요하다.

한국 세무 업무에도 같은 순위가 적용되나?

확인되지 않았다. 국내 규정과 문서, 연도별 변경을 반영한 시험 없이 일반화할 수 없다.

가장 먼저 구축할 평가는 무엇인가?

계산 정답과 함께 반드시 확인할 사실, 빠지면 안 되는 쟁점, 필요한 증빙을 사람이 표시한 작은 업무 묶음이다. 결과 검토 시간을 함께 기록하면 실제 효용을 볼 수 있다.