ChatGPT로 보조금 자른 DOGE, 법원이 제동을 걸었다

“DEI와 관련 있나”를 ChatGPT에 물은 행정 절차

The Verge 보도에 따르면 미국 연방법원은 Department of Government Efficiency, 즉 DOGE가 1억 달러가 넘는 인문학 보조금을 취소한 절차가 위헌이라고 판단했다. 143쪽 분량의 판결 문서에는 DOGE 직원들이 ChatGPT를 사용해 보조금 설명이 DEI와 관련 있는지 스캔한 과정이 자세히 언급됐다.

보도에 따르면 DOGE 직원 Justin Fox는 각 보조금 설명을 ChatGPT에 넣고 “다음 내용이 DEI와 관련 있는가? 120자 이내로 사실적으로 답하고 Yes 또는 No로 시작하라”는 표준 프롬프트를 사용했다. 그는 ChatGPT에 DEI를 정의하지 않았고, ChatGPT가 그 용어를 어떻게 이해하는지도 몰랐다고 증언했다. 법원은 이런 방식이 보호되는 특성을 이유로 보조금을 배제한 것으로 보인다고 지적했다.

이 사건은 OpenAI의 실시간 음성 API처럼 AI가 더 많은 업무 인터페이스에 들어가는 시점에 나온 중요한 경고다. 모델이 편리한 분류 도구가 되는 순간, 그 분류가 법적 결정의 근거가 될 수 있다.

공공기관 AI 사용의 핵심은 프롬프트가 아니라 절차다

문제는 ChatGPT를 썼다는 사실 자체가 아니다. 문제는 정의, 기준, 검증, 기록, 이의제기 절차가 불명확한 상태에서 AI 출력이 행정 결정을 밀어붙이는 필터로 쓰였다는 점이다. 공공기관의 의사결정은 법적 권한과 절차적 정당성을 요구한다. AI 도구는 그 요구를 면제해주지 않는다.

AP 보도에 따르면 이번 소송은 인문학 단체들이 제기했다. Inside Higher Ed는 NEH 보조금의 97%가 짧은 기간에 영향을 받았다고 전했다. 수천 건의 지원과 연구 프로젝트가 자동화된 필터링의 영향을 받았다면, 사후 검토와 복구 절차는 필수다.

이 지점은 민간 기업에도 그대로 적용된다. 채용, 대출, 보험, 콘텐츠 moderation, 고객 계정 정지처럼 사람의 권리와 기회에 영향을 주는 결정에는 “AI가 그렇게 분류했다”가 설명이 될 수 없다.

자동 분류의 리스크는 세 단계에서 생긴다

첫째, 기준 정의의 실패다. DEI처럼 정치적·법적 맥락이 큰 용어를 정의하지 않고 모델에게 맡기면, 모델은 훈련 데이터와 문맥 추정으로 빈칸을 채운다. 둘째, 출력 검증의 실패다. 120자 답변은 감사 가능한 근거가 되기 어렵다. 셋째, 책임 소재의 실패다. 모델이 판단했는지, 사람이 판단했는지, 어떤 문서가 근거인지 불명확해진다.

Anthropic의 Claude 정렬 연구는 모델이 행동뿐 아니라 이유를 보여주는 훈련이 중요하다고 말한다. 공공 AI는 여기서 한 걸음 더 나아가야 한다. 이유를 보여주는 것뿐 아니라 법적 기준에 맞는 증거, 재현 가능한 기록, 독립적인 검토 체계를 갖춰야 한다.

한국 공공·금융·교육 분야도 남의 일이 아니다

한국에서도 공공기관과 금융사가 민원 분류, 부정 수급 탐지, 채용 서류 검토, 연구비 심사 보조에 AI를 쓰려는 수요가 커지고 있다. 이때 가장 위험한 접근은 “일단 내부 참고용”이라고 시작한 도구가 실제 의사결정의 필터가 되는 것이다. 내부 참고용이라도 결과가 사람의 기회를 제한한다면 책임 체계가 필요하다.

Braintrust 침해와 평가 키 관리가 기술 운영의 통제 문제를 보여줬다면, 이번 판결은 거버넌스 통제의 문제를 보여준다. 모델이 틀릴 수 있다는 말만으로는 부족하다. 어떤 기준으로 틀렸는지 발견하고, 누가 고치며, 피해자가 어떻게 이의를 제기할 수 있는지 설계해야 한다.

FAQ

Q1. 이번 판결의 핵심은 무엇인가?
DOGE가 ChatGPT를 활용해 DEI 관련성을 판단하고 보조금을 대량 취소한 절차가 위헌이라는 판단이 나왔다.

Q2. ChatGPT 사용 자체가 불법이라는 뜻인가?
그렇게 단순화할 수는 없다. 문제는 명확한 기준과 검증, 사람의 책임 있는 판단 없이 AI 출력이 행정 결정에 쓰였다는 점이다.

Q3. 어떤 프롬프트가 사용됐나?
보도에 따르면 “DEI와 관련 있는가”를 묻고 120자 이내로 Yes 또는 No와 간단한 설명을 요구하는 표준 프롬프트가 사용됐다.

Q4. 민간 기업도 영향을 받나?
직접 판결 대상은 아니지만 채용, 대출, 보험, 계정 정지처럼 권리에 영향을 주는 자동화 결정에는 같은 수준의 설명 가능성과 이의제기 절차가 필요하다.

Q5. 안전하게 AI를 쓰려면 무엇이 필요한가?
명확한 기준, 입력 데이터 검증, 모델 출력 근거 기록, 사람의 독립 검토, 감사 로그, 사후 이의제기와 롤백 절차가 필요하다.