AI 워터마크, 사용자는 거의 구분하지 못했다

눈으로는 워터마크를 거의 못 본다

Sean Goedecke의 Watermark Field Test와 해설 글 Readers can't identify watermarked AI text는 AI 텍스트 워터마크 논쟁에 작은 실험을 던진다. 그는 Qwen3-30B-A3B-Instruct-2507로 질문당 세 개 응답을 만들고, 그중 하나에 SynthID-Text 워터마크를 넣었다. 사용자는 세 응답 중 워터마크가 들어간 답을 맞히는 퀴즈를 풀었다.

처음 278명 결과의 평균 점수는 3.92/10이었다. 무작위 선택 기대값 3.33/10보다 높았지만, 워터마크 답이 선택지 A에 여섯 번 들어간 배치 문제가 있었다. 셔플 뒤 73명 결과는 평균 3.4/10으로 내려갔다. 엄밀한 학술 연구는 아니지만 메시지는 분명하다. 사람이 읽어서 워터마크 여부를 안정적으로 맞히기는 어렵다. Google DeepMind의 SynthID가 목표로 하는 것도 눈에 보이는 낙인이 아니라 통계적 검출 신호다.

워터마크 논쟁은 품질보다 거버넌스 문제다

텍스트 워터마크에 대한 반대는 보통 두 갈래다. 하나는 출력 품질이 나빠진다는 우려이고, 다른 하나는 사용자 프라이버시와 검열 도구가 된다는 우려다. Goedecke의 실험은 첫 번째 우려가 적어도 사용자 체감 수준에서는 과장될 수 있음을 보여준다. 워터마크는 모델이 이미 top token 후보 중에서 확률적으로 선택하는 과정을 약간 편향시키는 방식이므로, 문장이 즉시 이상해진다고 단정하기 어렵다.

하지만 두 번째 우려는 남는다. AI 탐지기 불신, 출처 증명의 시장이 열린다는 AI 여부를 맞히는 탐지기보다 출처와 과정 증명이 중요하다고 봤다. AI 블라인드니스, 문서 신뢰의 피로 신호는 사용자가 AI 문체를 보면 내용까지 건너뛰기 시작한다고 분석했다. Claudette, AI 문체 제거 도구가 던진 질문는 문체 제거 도구가 신뢰 문제를 해결하지 못한다고 봤다. 워터마크는 이 세 문제를 한 번에 해결하지 못하지만, 검증 가능한 신호 하나를 제공할 수 있다.

한국 교육과 기업 문서에는 다층 신호가 필요하다

한국에서는 AI 탐지기가 교육 현장과 채용 과제에서 빠르게 소비될 가능성이 크다. 그러나 탐지 점수 하나로 학생이나 지원자를 판단하면 오탐 피해가 커진다. C2PA 같은 출처 증명 표준, 모델 워터마크, 제출 과정 로그, 구술 확인, 수정 이력을 함께 봐야 한다. 덴마크 구술 방어 의무화, AI 교육평가의 회귀와 진화가 보여준 것처럼 평가는 결과물만 보는 방식에서 과정 확인으로 이동하고 있다.

기업 문서도 마찬가지다. 워터마크가 있다고 해서 문서가 틀린 것은 아니고, 워터마크가 없다고 해서 사람이 책임진 것도 아니다. 보고서, 제안서, 기술 설계서에는 작성자, 참조 자료, AI 사용 범위, 최종 승인자를 표시하는 것이 더 직접적이다. 워터마크는 사후 감사와 대량 유통 경로 추적에는 도움이 되지만, 현업 의사결정에서는 책임 신호와 결합되어야 한다.

플랫폼 경쟁은 감지율보다 신뢰 UX로 간다

OpenAI, Google, Anthropic 같은 모델 제공자는 앞으로 워터마크와 provenance를 더 적극적으로 제공할 가능성이 높다. 하지만 제품 경쟁은 검출 알고리즘 자체보다 신뢰 UX에서 갈릴 수 있다. 사용자가 워터마크를 볼 수 없다면, 플랫폼은 어떤 상황에서 어떤 목적으로 검증했는지 설명해야 한다. Google의 SynthID-Text 논문과 관련 연구는 통계 검출을 다루지만, 현장에서는 정책, 예외, 이의제기 절차가 같이 필요하다.

한국 SaaS와 협업 도구에는 기회가 있다. 문서 provenance, AI 초안 표시, 승인 워크플로, 외부 제출용 검증 리포트, 조직 정책별 워터마크 처리 기능은 실제 구매 이유가 된다. 워터마크는 사용자가 맞히는 퀴즈가 아니라 조직이 신뢰를 관리하는 인프라로 봐야 한다.

자주 묻는 질문

Q1: 이 퀴즈가 과학적으로 충분한 연구인가요?

A: 아니다. 표본과 설계가 제한된 캐주얼 실험이다. 다만 사용자가 쉽게 구분한다는 주장을 약하게 만드는 사례다.

Q2: 워터마크가 품질을 전혀 해치지 않나요?

A: 전혀라고 단정할 수는 없다. 모델, 문맥, 워터마크 강도에 따라 달라질 수 있어 별도 평가가 필요하다.

Q3: 워터마크만 있으면 AI 탐지 문제가 해결되나요?

A: 아니다. 재작성, 번역, 편집, 짧은 텍스트에서는 약해질 수 있고, 출처 로그와 승인 절차가 함께 필요하다.

Q4: 교육 현장에서는 어떻게 써야 하나요?

A: 처벌용 단일 증거가 아니라 과정 확인, 구술 평가, 제출 로그와 함께 참고 신호로 써야 한다.

Q5: 기업 문서에서는 무엇이 더 중요한가요?

A: AI 사용 여부보다 근거 링크, 작성자 판단, 편집 이력, 최종 승인자 표시가 더 직접적인 신뢰 신호다.