고전 ML로 잡은 AI 글, 탐지 시장의 불편한 진실

최신 LLM보다 오래된 분류기가 더 설명적일 때

lyc8503의 글은 LLM 생성 웹소설을 "고전적" 머신러닝으로 탐지한 실험이다. 저자는 2023년에 긁어둔 2010년부터 2022년 사이의 인간 작성 장문 텍스트 약 1만 개를 샘플링하고, 여러 LLM으로 비슷한 장르의 생성 텍스트를 만들었다. 이후 문장을 분리하고 정제한 뒤 scikit-learn의 TF-IDF와 LinearSVC를 사용했다.

결과는 흥미롭다. 저자는 문장 단위에서 약 85% 수준의 정확도를 얻었고, 7개 이진 분류기 투표로 AI 의심 문장을 표시했다. 웹 데모용으로는 50만 개 feature를 남긴 JSON 모델을 사용했으며, 크기는 107MB, 서버 gzip 기준 약 38MB라고 설명했다. 이는 AI 탐지 시장의 불편한 사실을 드러낸다. 일부 탐지는 대형 추론 모델이 아니라 말뭉치 통계와 선형 분류기로도 꽤 잘 작동할 수 있다.

중요한 것은 모델 종류가 아니라 데이터 구성이다

AI 글 탐지의 어려움은 알고리즘보다 데이터에 있다. 저자는 pre-ChatGPT 시기의 인간 텍스트와 LLM 생성 텍스트를 맞추려고 했지만, 생성 데이터에는 항상 흔적이 남는다. 실제로 글은 8개 클래스 분류, 즉 인간과 7개 AI 모델 구분에서는 약 50% 수준으로 흔들렸다고 밝힌다. 모델끼리 비슷하거나 서로 증류된 듯한 문체가 섞이기 때문이다. 반면 인간 대 AI의 이진 구분은 도메인이 좁을수록 강해진다.

이 점은 LinkedIn AI 글 범람과 직접 연결된다. 범용 "AI 글 판별기"는 법적 단속 도구로 쓰기 어렵지만, 특정 플랫폼과 장르의 신뢰 점검 도구로는 가치가 있다. OpenAI의 AI text classifier 중단 공지가 과거 낮은 정확도와 한계를 이유로 분류기를 중단했던 것처럼, 범용 탐지는 여전히 조심해야 한다. 하지만 도메인 특화 탐지는 다른 문제다.

오탐률은 숫자보다 운영 맥락이 중요하다

저자는 2022년 이전 Lofter 장문 팬픽 1만 개를 대상으로 60% 임계값에서 false positive rate 0.04%, 70%에서는 사실상 0에 가깝다고 주장한다. 이 수치가 맞더라도 실무 해석은 조심해야 한다. 표본은 특정 플랫폼, 특정 언어, 특정 장르에 묶여 있다. 한국어 블로그, 채용 자기소개서, 과제물, 뉴스 댓글로 옮기면 분포가 달라진다. 탐지기가 "AI 같다"고 말하는 것은 부정행위의 증거가 아니라 추가 검토 신호여야 한다.

30papers와 AI 학습의 병목이 보여준 것처럼 AI 시대의 신뢰는 원문 읽기와 검증 습관으로 돌아온다. 탐지기는 그 검증을 돕는 도구이지, 사람의 판단을 대체하는 판사가 아니다. 특히 교육기관과 플랫폼은 탐지 점수만으로 제재하면 항의와 법적 위험을 키운다. 대신 의심 구간 표시, 작성 과정 로그, 출처 요구, 재작성 인터뷰를 함께 운영해야 한다.

한국 플랫폼이 얻을 수 있는 실용 교훈

한국 웹소설, 블로그, 커뮤니티 플랫폼은 AI 생성 글의 품질 저하와 유료화 남용을 이미 체감하고 있다. 이 실험의 교훈은 거창한 모델보다 내부 데이터셋이 먼저라는 것이다. 플랫폼은 공개 전 글, 신고된 글, 과거 인간 작성 글을 익명화해 장르별 기준선을 만들 수 있다. scikit-learn의 text feature extraction 문서처럼 기본 도구만으로도 첫 번째 탐지기를 만들 수 있다.

다만 탐지기를 공개하면 우회도 빨라진다. 번역, 문체 모방, 인간 편집, 일부 문장 섞기만으로 점수가 달라질 수 있다. 따라서 운영 목표를 "AI 사용 적발"보다 "낮은 품질의 대량 생성물 감속"으로 잡는 편이 현실적이다. Guardian Angels 개인화 LLM 보안에서 본 개인화 시대에는 사람마다 문체도 더 다양해진다. 탐지 시장은 처벌보다 신뢰 레이어로 자리 잡아야 오래간다.

자주 묻는 질문

Q1: TF-IDF와 SVM만으로 AI 글을 정말 잡을 수 있나요?

A: 특정 언어, 장르, 플랫폼에서는 꽤 강한 통계 신호가 있을 수 있다. 하지만 범용 정확도로 확대 해석하면 안 된다.

Q2: 이 방식은 한국어에도 적용되나요?

A: 원리는 가능하지만 한국어 형태소, 띄어쓰기, 장르별 문체가 달라 별도 데이터와 검증이 필요하다.

Q3: 탐지 점수로 학생이나 작가를 처벌해도 되나요?

A: 위험하다. 탐지 점수는 추가 확인 신호로 쓰고, 작성 과정과 원자료, 사람 검토를 함께 봐야 한다.

Q4: LLM으로 판정하는 것보다 싼가요?

A: 일반적으로 훨씬 싸고 빠를 수 있다. 단, 데이터 구축과 주기적 재학습 비용이 든다.

Q5: 가장 큰 한계는 무엇인가요?

A: 도메인 이동과 우회다. 학습한 장르 밖에서는 성능이 떨어지고, 인간 편집이 섞이면 판단이 어려워진다.