AI 크롤러가 사이트를 죽인다: TheNumbers.com이 겪은 일

무엇인가요

영화 박스오피스 데이터의 대표 사이트로 꼽히던 TheNumbers.com이 지난 3월 갑자기 다운됐습니다. 일주일 넘게 접속이 끊겼다가 복구된 뒤에도 개별 영화 페이지나 리포트 빌더 같은 핵심 기능이 사라진 축소 버전으로 운영되고 있다고, 영화산업 데이터 전문가 Stephen Follows가 자신의 뉴스레터에서 밝혔습니다.

원인으로 지목된 건 AI 에이전트발 트래픽 폭증과 악의적 침입 시도입니다. 글에 따르면 사이트 트래픽의 상당 부분이 사람이 아닌 자동화 요청이었고, 서버 자원 대부분이 이를 버텨내는 데 소모됐다고 합니다. 저자는 이 문제를 TheNumbers.com만의 사정이 아니라 Read the Docs, iFixit, GNOME 같은 다른 서비스에서도 확인된 공통 현상으로 소개합니다.

왜 주목할까요

• 검색엔진은 방문 한 번에 몇 페이지 정도만 긁어가지만, AI 크롤러는 훨씬 많은 페이지를 한 번에 훑고 가는 것으로 알려졌습니다. 트래픽은 늘어도 실제 사람 방문·광고 수익은 늘지 않는 구조입니다.
• 데이터가 정교한 사이트일수록 예측 시장이나 경쟁 서비스가 그 데이터를 먼저 확보하려는 유인이 커집니다. 자동화 침입 시도가 늘어나는 배경입니다.
• 자립적으로 운영되는 소규모 데이터·콘텐츠 사이트일수록 이런 부하를 감당할 인프라 여력이 부족합니다.

국내 관점 코멘트

국내에서도 커뮤니티 크롤링, 가격 비교, 리뷰 집계 같은 데이터 기반 사이트를 운영한다면 같은 리스크에 노출돼 있습니다. 아직 크게 체감하지 못했다면 지금이 로그를 한 번 들여다볼 시점입니다. 우선 서버 로그나 애널리틱스에서 봇으로 추정되는 트래픽 비중을 확인하고, robots.txt에 알려진 AI 크롤러(GPTBot, ClaudeBot 등) 차단 규칙을 넣는 것부터 시작할 수 있습니다. Cloudflare 같은 CDN을 쓰고 있다면 AI 봇 차단 기능이 기본 제공되는 경우도 많으니 설정만 켜도 부담을 크게 줄일 수 있습니다. 데이터가 자산인 서비스를 운영 중이라면 트래픽 증가를 무조건 좋은 신호로만 볼 게 아니라, 그 트래픽이 누구에게서 오는지 한 번쯤 점검해볼 필요가 있습니다.