AI 학습 거부 공통 신호, 검색 차단과는 다르다
학습 거부, 검색 노출, 응답 근거 사용은 같은 설정이 아니다. 공통 신호의 가치는 정책 표현의 단순화이며 강제 차단이나 대가 지급을 보장하는 데 있지 않다.
AI 뉴스를 놓치지 마세요
매주 핵심 AI 소식을 이메일로 받아보세요.
네 회사의 지지가 곧 시행 완료는 아니다
2026년 10월 30일 The Verge 보도는 OpenAI, Google, Microsoft, Anthropic이 웹 발행사의 AI 학습 선호를 공통으로 표현하는 신호를 지원한다고 전했다. 회사마다 봇 이름을 찾아 반복 설정하던 부담을 줄이려는 움직임이다.
다만 발표 시점에 모두 같은 동작을 하는 것은 아니다. 보도는 Anthropic이 이미 채택했으며 Google과 Microsoft는 다음 해, OpenAI는 향후 몇 달 안의 지원을 예고했다고 구분한다. 국내 사이트 운영자는 ‘주요 회사들이 찬성했다’와 ‘우리 사이트 설정이 오늘부터 모든 수집 시스템에 적용된다’를 분리해야 한다.
IETF 문서는 확정 표준이 아닌 개인 제출 초안이다
핵심은 Machine-Readable Training Preference Signal 초안이다. 10월 30일 공개된 00 버전은 개인 제출 Internet-Draft이며, IETF의 공식 승인이나 확정 RFC와 같지 않다. 이 상태 표시는 기술 내용만큼 중요하다. 구현과 용어가 이후 논의에서 바뀔 수 있기 때문이다.
초안은 robots.txt의 기존 구조를 활용해 __usage_ai-training이라는 정책 토큰에 경로별 이용 선호를 연결한다. 새로운 지시어 문법을 만드는 방식은 아니다. 아래는 초안이 제안하는 전체 사이트 학습 거부 표현의 예시이며, 이 기사에서 실제 사이트 설정을 변경한 것은 아니다.
User-Agent: __usage_ai-training
Disallow: /
더 중요한 부분은 초안 4.4절이다. 이 토큰은 크롤링 동작 자체를 지시하는 명령이 아니라고 명시한다. 소비자가 학습 선호를 수집 판단에 활용할 수는 있지만, 특정 크롤러의 접근 규칙과 콘텐츠 이용 목적의 선호는 독립적이다. ‘AI 봇을 모두 막는 한 줄’로 소개하면 기술적 의미가 달라진다.
검색·학습·그라운딩은 세 가지 계약이다
robots.txt의 RFC 9309와 새 초안을 함께 보면, 웹 접근 규칙과 취득한 자료의 이용 목적을 나누는 설계가 드러난다. 학습은 생성 모델의 학습된 매개변수를 수정하는 이용이다. 그라운딩은 답변을 만들 때 자료를 입력·근거로 활용하는 방식으로, 같은 행위가 아니다.
| 운영자가 결정할 사항 | 실제 질문 | 동일시하면 생기는 오류 |
|---|---|---|
| 크롤링 허용 | 해당 봇이 자료를 가져가도 되는가 | 학습 거부를 네트워크 차단으로 오인 |
| AI 학습 선호 | 생성 모델의 학습에 써도 되는가 | 검색 색인도 자동 제거된다고 오인 |
| AI 그라운딩 선호 | 답변 생성의 근거로 써도 되는가 | 학습 거부만으로 답변 이용도 막힌다고 오인 |
| 라이선스·대가 | 어떤 계약과 금액으로 이용하는가 | 설정 한 줄이 이용료 계약을 만든다고 오인 |
Reddit 로그인 전환 분석처럼 콘텐츠 유통은 유입과 통제 사이의 균형 문제다. 학습 이용을 제한하면서 검색에서 발견되기를 원할 수도 있고, 답변 인용은 허용하되 별도 대량 이용은 계약 대상으로 둘 수도 있다. 이를 하나의 ‘허용/차단’ 버튼으로 뭉치면 사업 목적과 설정이 어긋난다.
Microsoft의 전환 일정은 별도로 읽어야 한다
Microsoft 공식 안내는 학습 선호와 페이지별 그라운딩 선호를 나눈다. 그라운딩에는 허용, 거부 외에 Microsoft 자체 경험으로 이용을 제한하는 DisallowExtended도 제시한다. 이 추가 선택은 공통 학습 토큰과 같은 범위의 업계 공통 기능으로 보면 안 된다.
Microsoft가 밝힌 새 선호 적용 시작일은 2027년 2월 1일이며 크롤링을 통해 설정을 발견하면서 적용한다. 기존 NoArchive·NoCache 사용자는 3월 1일 이전의 전환 절차를 확인해야 한다. 특히 해당 사이트의 그라운딩 제한 유지에는 페이지 설정과 Bing Webmaster Tools의 임시 전환 선호가 함께 요구된다. 임시 선호는 재수집 시점 또는 9월 30일 중 먼저 도달하는 때까지 적용된다고 설명한다.
여기서 ‘파일을 배포했다’와 ‘수집기가 읽었다’는 다르다. 공식 안내도 재크롤링이 필요하며 알림이 재수집 날짜를 보장하지 않는다고 명시한다. 따라서 운영팀은 배포 기록뿐 아니라 응답 헤더, 실제 robots.txt, 관련 페이지와 검색 도구의 상태를 확인해야 한다.
한국 발행사의 실무 과제는 정책의 일관성이다
공통 신호는 운영비를 낮출 가능성이 있지만 경쟁 관계를 없애지는 않는다. 사업자별 세부 기능, 적용 일정과 계약 예외가 남는다. 초안도 사적 계약이 선호보다 우선할 수 있다고 설명한다. 이미 콘텐츠 공급 계약이 있다면 기술팀만이 아니라 사업·법무 담당자가 함께 범위를 확인해야 한다.
뉴스와 상품 정보, 유료 보고서, 고객 문서를 같은 정책으로 취급할 필요도 없다. 공개 검색으로 유입될 페이지와 이용 목적을 제한할 자료를 먼저 나누는 것이 순서다. OpenAI의 Google Cloud 진입 분석이 보여주듯 이용 경로가 바뀌면 기능 이름보다 실제 조건을 읽는 일이 중요해진다.
또한 자료 이용을 허용했다고 인용·방문·결제가 보장되지는 않는다. Microsoft도 이를 명시한다. 마틴 파울러와 독자 신뢰 분석과 연결해 보면, 발행사의 가치는 수집 허용 여부만이 아니라 출처가 제대로 드러나고 독자가 원문을 이해하는 경험에도 달려 있다.
자주 묻는 질문
1. 이미 확정된 IETF 표준인가?
아니다. 확인한 문서는 00 버전의 개인 제출 Internet-Draft다. IETF 승인과는 구분해야 한다.
2. 토큰을 넣으면 모든 AI 크롤러가 차단되나?
아니다. 이용 선호 표현이며 강제 접근 제어나 모든 수집기의 준수를 보장하지 않는다.
3. AI 학습을 거부하면 Bing 검색에서 빠지나?
Microsoft는 새 선호가 일반 검색 결과의 자격을 바꾸지 않는다고 설명한다. 다만 정상 크롤링·색인 조건은 여전히 필요하다.
4. 학습 거부가 답변 근거 사용도 막나?
자동으로 그렇지 않다. Microsoft는 학습과 그라운딩을 별도 선택으로 다룬다.
5. 기존 NoArchive 설정만 유지하면 되나?
Microsoft의 새 정책에서는 그대로 가정하면 안 된다. 대상 사이트는 발표된 전환 일정과 페이지·도구 설정을 확인해야 한다.
이 글은 공개 보도, IETF 초안과 Microsoft 안내를 OpenClaw 에이전트가 대조해 작성했다. 각 회사의 수집 시스템 내부 구현을 시험한 것은 아니다.
관련 토픽 더 보기
📰 원본 출처
theverge.com이 기사는 AI 기술을 활용하여 작성되었으며, 원본 뉴스 소스를 기반으로 분석 및 해설을 추가한 콘텐츠입니다. 정확한 정보 전달을 위해 노력하고 있으나, 원본 기사를 함께 확인하시기를 권장합니다.