AI 증거 조작 의혹, 사법 자동화의 경고

경찰 업무의 AI 사용이 증거 문제로 바뀌었다

Sky News 보도는 영국 Derbyshire 경찰관이 여러 사건에서 AI를 이용해 증거를 만들었다는 의혹으로 조사받고 있다고 전했다. 접근 제한 때문에 기사 전문을 확인하기는 어렵지만, 제목만으로도 공공부문 AI 도입의 가장 민감한 경계를 보여준다. 경찰 보고서 보조와 증거 생성은 완전히 다른 일이다.

경찰 업무는 기록의 연속성으로 성립한다. 누가 언제 무엇을 봤는지, 원본 파일이 어디에 있는지, 어떤 변환을 거쳤는지, 법정에서 방어인이 검증할 수 있는지가 핵심이다. 생성형 AI가 이 과정에 끼어들면 편의성은 커지지만 책임 추적은 어려워진다. 영국 정부의 AI 활용 안내는 공공부문에서 생성형 AI를 쓸 때 투명성, 보안, 책임을 함께 봐야 한다고 강조한다.

플로리다 OpenAI 소송, 챗봇 안전의 책임선이 민간 서비스의 책임선을 묻는다면, 이번 논란은 국가 권력의 책임선을 묻는다. AI가 만든 문장이 피의자, 피해자, 배심원, 판사의 판단에 들어가는 순간 단순 생산성 도구라는 설명은 부족하다.

증거와 요약은 다르다

수사기관이 AI를 쓰는 범위는 넓다. 통화 녹취 요약, CCTV 검색, 사건 기록 정리, 민원 답변 초안, 번역, 디지털 포렌식 분류는 모두 가능한 사용 사례다. 그러나 법정 증거로 제출되는 자료는 훨씬 엄격하다. AI가 원본을 요약했다면 원본과 요약의 차이를 설명해야 하고, AI가 이미지를 보정했다면 보정 전후 파일과 알고리즘을 남겨야 한다.

영국 Forensic Science Regulator는 법과학 품질 기준을 다루며, 디지털 증거도 재현성과 품질 관리가 필요하다는 방향을 유지해 왔다. AI 도구가 들어오면 이 기준은 더 중요해진다. 사람이 한 실수는 교차신문으로 추적할 수 있지만, 모델이 만든 오류는 프롬프트, 버전, 설정, 학습 데이터의 복합 결과일 수 있기 때문이다.

한국 수사기관과 공공기관의 현실적 위험

한국에서도 공공기관은 민원, 감사, 수사, 행정심판 문서에 AI를 쓰고 싶어 한다. 문제는 금지보다 관리다. 내부 직원이 개인 계정의 챗봇에 사건 자료를 올려 요약하거나, 녹취록을 외부 서비스에 붙여 넣거나, AI가 만든 표현을 사실 확인 없이 공문에 넣는다면 사고는 이미 시작된다. ChatGPT Sheets 유출, 사무용 AI의 보안 경고가 보여준 위험은 사법 영역에서 훨씬 더 커진다.

AI 사용 사실을 숨기는 문화도 위험하다. 공공기관은 "AI를 썼다"는 사실 때문에 비난받을까 봐 사용 로그를 남기지 않으려 할 수 있다. 그러나 법정과 감사에서 필요한 것은 사용 금지가 아니라 설명 가능성이다. 어떤 문서에 AI가 관여했는지, 어떤 원본을 바탕으로 했는지, 누가 승인했는지 남겨야 한다.

AI psychosis 논쟁, 챗봇 안전의 다음 경계는 챗봇이 사람의 판단에 끼치는 영향을 다뤘다. 수사기관에서는 그 영향이 개인 심리보다 제도 신뢰로 확장된다. 잘못된 AI 출력 하나가 무죄 추정, 증거 능력, 피해자 보호를 동시에 흔들 수 있다.

사법 AI는 감사 가능한 도구여야 한다

기술적으로는 해결 방향이 있다. 원본 불변 저장, AI 처리 전후 해시, 모델 버전 기록, 프롬프트와 출력 저장, 사람 승인 워크플로, 법정 제출물의 AI 사용 표시가 기본이다. NIST AI RMF는 AI 위험을 문서화하고 관리하라고 말한다. Council of Europe의 AI와 인권 프레임워크도 공공 권력의 AI 사용에서 권리 보호와 책임성을 강조한다.

한국 기관이 배울 점은 단순하다. 생성형 AI를 문서 편집기처럼 배포하면 안 된다. 증거와 행정 처분에 닿는 업무는 별도의 승인된 도구, 로그 정책, 교육, 감사 절차가 필요하다. Microsoft Scout 논란, AI 의존성의 제품 전략화에서 본 것처럼 도구 의존은 어느 순간 조직 운영 방식이 된다. 사법 영역에서는 그 의존이 곧 권리 침해가 될 수 있다.

자주 묻는 질문

Q1: 경찰이 AI를 쓰면 모두 문제가 되나요?

A: 아니다. 검색, 분류, 초안, 번역 보조는 가능하다. 다만 원본 증거를 대체하거나 AI 출력을 사실처럼 제출하면 문제가 된다.

Q2: AI 요약은 법정에서 쓸 수 없나요?

A: 원본과 처리 과정이 보존되고, 사람이 검토했으며, 상대방이 검증할 수 있다면 보조 자료로 쓰일 여지는 있다. 원본 없는 요약은 위험하다.

Q3: 가장 필요한 기술 통제는 무엇인가요?

A: 원본 해시, 모델 버전, 프롬프트, 출력, 수정자, 승인자를 모두 남기는 감사 로그가 우선이다.

Q4: 한국 공공기관은 무엇부터 해야 하나요?

A: 개인 챗봇 사용 금지, 승인 도구 지정, 민감 자료 업로드 제한, AI 작성 표시, 감사 로그 정책을 먼저 정해야 한다.

Q5: AI가 증거를 조작했는지 어떻게 알 수 있나요?

A: 원본 파일, 처리 로그, 메타데이터, 모델 설정, 사람이 수정한 이력을 대조해야 한다. 그래서 처음부터 재현 가능한 기록이 필요하다.