주간 수천 건. Patreon이 AI 크롤링 차단 기술을 적용하기 전, AI 학습 봇들이 매주 Patreon 서버를 두드린 횟수다. 차단 기술 도입 후 이 숫자는 0이 됐다. 단순한 수치 변화가 아니다. 이 숫자는 robots.txt라는 '신사 협정'이 얼마나 오래전에 무너졌는지를 드러낸다.
Patreon은 7월 17일, Cloudflare의 AI Crawl Control 기술을 활용해 창작자 콘텐츠를 무단으로 AI 학습에 활용하는 봇을 직접 차단한다고 밝혔다. 2023년부터 robots.txt 파일로 AI 크롤러에게 접근 자제를 요청해왔지만, 이번에는 방식을 바꿨다. 요청이 아니라 차단이다.
전환의 배경은 두 가지다. 첫째, AI 스크레이핑 기술이 2023년 이후 훨씬 정교해졌다. 둘째, Patreon 자체의 플랫폼 구조가 바뀌었다. 기존에는 유료 구독 장벽이 콘텐츠 대부분을 크롤러로부터 자연스럽게 보호했다. 그런데 최근 Patreon이 새로운 홈 피드와 트위터 형식의 짧은 게시물 기능 'Quips'를 도입하면서 공개 노출 콘텐츠가 늘었다. 창작자 입장에서는 팔로워를 늘리기 위해 공개한 콘텐츠가 AI 학습 데이터로 흘러들어가는 구조가 된 것이다.
Patreon 제품 총괄 Drew Rowny는 공식 발표에서 이렇게 말했다. "인터넷 대부분에서 창작자들은 청중을 만들고 키우기 위해 AI 학습을 감수해야 한다. Patreon은 다른 방향을 본다. 창작자는 청중도 키우고 자신의 작업이 어떻게 쓰이는지도 통제할 수 있어야 한다."
Patreon 블로그는 한 문장으로 이번 조치의 철학을 압축했다. "동의는 스크레이퍼가 알아서 착하게 행동하느냐에 달려서는 안 된다."
다만 Patreon은 모든 봇을 막지는 않는다. 페이지를 색인화해 사용자를 Patreon으로 다시 보내는 역할을 하는 봇은 허용한다. AI 학습용 봇과 검색 인덱싱 봇을 구분하는 것이다.
이번 조치의 배경에는 Cloudflare의 정책 변화도 있다. Cloudflare는 2024년 AI 봇 차단 도구를 출시한 데 이어, 2025년에는 웹사이트가 AI 봇에게 스크레이핑 비용을 청구할 수 있는 마켓플레이스 'Pay Per Crawl'을 선보였다. 올해 7월에는 콘텐츠를 색인화하면서 동시에 AI 학습에도 활용하는 '혼합 사용' 크롤러를 광고가 포함된 페이지에서 기본 차단하는 방향으로 정책을 바꿨다. Cloudflare가 인터넷 인프라 수준에서 AI 데이터 수집 생태계를 재편하고 있는 셈이다.
국내 창작자 플랫폼에도 시사하는 바가 크다. 네이버 블로그, 카카오 브런치, 왓패드 계열 플랫폼 등 국내외 콘텐츠 플랫폼들은 아직 AI 학습 데이터 활용에 대한 명확한 창작자 동의 체계나 차단 기술을 공개적으로 갖추지 못한 경우가 많다. Patreon의 이번 전환은 '요청'에서 '기술적 집행'으로 넘어가는 흐름이 업계 표준이 될 수 있으로 자리잡고 있다. 창작자 보호를 플랫폼 경쟁력으로 내세우는 전략이기도 하다.
robots.txt는 수십 년 전에 만들어진 규약이다. AI 학습 봇이 이를 무시한다는 사실은 이미 수천 건의 시도가 증명했다. 이제 플랫폼들은 선택해야 한다. 창작자의 데이터 주권을 지키는 기술적 장치를 만들 것인지, 아니면 신사 협정에 계속 의존할 것인지.
