Cloudflare 크롤러 정책, AI 웹의 통행료 실험

검색 봇과 AI 봇을 갈라놓겠다는 선언

TechCrunch 보도에 따르면 Cloudflare는 2026년 9월 15일부터 검색, AI 학습, 에이전트 사용을 섞어 쓰는 이른바 mixed-use 크롤러를 기본 차단하는 정책을 예고했다. 광고가 붙은 페이지를 대상으로 하며 신규 고객, 기존 고객의 신규 사이트, 기존 무료 고객에 적용된다는 설명이다. 핵심은 AI 기업에게 웹 접근 목적을 분리하라는 압박이다.

Cloudflare의 Content Independence Day 발표는 더 직접적이다. 웹의 오래된 거래는 검색엔진이 콘텐츠를 가져가는 대신 트래픽을 돌려주는 구조였지만, AI 답변과 에이전트는 콘텐츠를 읽고도 방문자를 보내지 않을 수 있다. 그래서 Cloudflare는 AI bot 관리 도구와 Pay Per Crawl, 나아가 Pay Per Use 모델을 통해 콘텐츠 접근을 가격화하려 한다.

AI 검색의 병목은 모델이 아니라 권리다

AI 검색과 에이전트 서비스는 최신 웹을 읽어야 쓸모가 있다. 하지만 게시자 입장에서는 학습 데이터, 검색 색인, 에이전트 실행이 모두 같은 크롤러로 들어오면 거부권을 행사하기 어렵다. Google은 Google-Extended를 통해 일부 AI 사용을 분리할 수 있다고 설명하지만, Cloudflare는 검색과 AI 기능이 결합된 거대 사업자에게 여전히 비대칭성이 있다고 본다.

한국 콘텐츠 사업자에게도 즉시 relevant하다

한국 언론사, 커뮤니티, 전문 블로그, B2B 지식 사이트는 이 변화를 멀리서 볼 수 없다. AI 검색이 성장할수록 페이지뷰는 줄고 서버 요청은 늘 수 있다. 특히 에이전트가 가격 비교, 예약, 리서치, 문서 요약을 대신하면서 사람보다 더 자주 페이지를 불러오면 비용 구조가 바뀐다. Obscure Sorrows 표절, AI 검색의 출처 붕괴에서 다룬 출처 문제도 경제 문제와 붙는다.

개발팀에는 운영 과제가 생긴다. 크롤러 식별, 요금 정책, API 제공, 캐시 전략, 로그 보존을 콘텐츠 정책과 함께 설계해야 한다. JSON-LD, 개인 웹사이트의 AI 검색 여권처럼 구조화 데이터는 AI 검색 노출을 돕지만, 동시에 무엇을 어느 목적에 허용할지 선언하는 장치가 필요하다. Cloudflare 임시 계정, 에이전트 배포의 새 관문에서 본 것처럼 인프라 사업자는 에이전트 시대의 관문이 되고 있다.

Pay Per Use는 성공할 수 있나

가장 어려운 부분은 가치 산정이다. 단순 크롤링 횟수로 과금하면 중복 수집이 줄 수 있지만, AI 답변에서 실제로 가치를 만든 콘텐츠가 무엇인지 측정하기는 어렵다. Cloudflare가 Ceramic.ai, You.com과 초기 파트너십을 언급한 것은 이 실험이 검색 광고 시장의 복제판이 아니라 새로운 정산 인프라가 되어야 한다는 뜻이다.

이 시장이 자리 잡으면 작은 사이트도 API와 라이선스 전략을 고민해야 한다. 무료 공개 페이지, 검색 허용 페이지, AI 학습 금지 페이지, 유료 에이전트 접근 페이지를 나누는 식이다. 반대로 AI 제품사는 출처별 비용을 계산해야 하므로 답변 품질과 원가 관리가 함께 중요해진다.

자주 묻는 질문

Q1: Cloudflare가 모든 AI 크롤러를 막나요?

A: 아니다. 핵심은 목적이 섞인 크롤러를 기본 차단하고, 명확한 목적과 보상 모델을 요구하는 것이다.

Q2: 검색 노출도 함께 사라지나요?

A: 사업자별로 다르다. Google은 Google-Extended를 제공하지만, Cloudflare는 검색과 AI 기능이 결합될 때 게시자의 선택권이 약하다고 본다.

Q3: 한국 사이트도 설정해야 하나요?

A: Cloudflare를 쓰거나 해외 AI 봇 트래픽이 많은 사이트라면 설정과 로그를 점검해야 한다.

Q4: robots.txt로 충분하지 않나요?

A: 선언에는 도움이 되지만 강제력, 식별, 과금, 우회 탐지에는 한계가 있다.

Q5: 개발팀의 첫 조치는 무엇인가요?

A: AI 크롤러 트래픽을 분리해서 측정하고, 검색 허용과 학습 허용을 별도 정책으로 문서화하는 것이다.