내 사이트 트래픽의 99.999%가 봇이었다

무엇인가요

Hacker News에서 화제가 된 글에서, 공개 문서를 모아 서비스하는 약 150만 페이지 규모 사이트의 운영자는 지난 1년간 트래픽의 약 99.999%가 봇이었다고 밝혔습니다. Cloudflare 통계상으로는 월 100만 명 규모의 “방문자”가 잡히지만 실제 사람은 하루 수십 명 수준이라고 설명합니다. 2025년 11월 의심스러운 방문자가 급증한 뒤로 문제가 심해졌고, 평소 월 90달러 수준이던 서버 비용이 트래픽이 튄 달에는 5배 넘게(약 450달러) 뛰었다고 합니다.

운영자는 특정 국가발 IP 차단, 작업증명 방식의 봇 검증 도구 Anubis 도입, Cloudflare의 비대화형 챌린지, User-Agent 검증 등을 조합해 대응했다고 밝혔습니다. 흥미로운 점은 이 운영자 자신도 공개 데이터를 모아 서비스를 만드는 ‘스크래퍼’라는 것으로, 스스로도 이 아이러니를 인지하고 있다고 덧붙였습니다.

왜 주목할까요

• AI 모델 학습·에이전트용 데이터 수집이 늘면서 봇 트래픽이 실사용자 지표를 왜곡하는 사례가 늘고 있습니다.
• 트래픽 급증이 그대로 서버·CDN 비용 급증으로 이어져, 작은 사이트일수록 타격이 큽니다.
• 대응 방법(작업증명, 챌린지, UA 필터링)이 대부분 무료·저비용 도구로 구현 가능해 실행 난이도가 낮습니다.

국내 관점 코멘트

국내에서도 커머스 상세페이지, 부동산·구인구직 정보성 사이트, 블로그형 콘텐츠 사이트를 운영하다 보면 애널리틱스 방문자 수가 실제 문의·매출과 안 맞는 경험을 종종 하게 됩니다. 최근에는 국내외 AI 서비스들이 학습·실시간 검색용으로 콘텐츠를 긁어가는 경우도 늘고 있어 남의 얘기가 아닙니다. 트래픽이 많다고 마냥 좋아하기 전에 Cloudflare나 서버 로그에서 실제 사람 트래픽 비율부터 확인해보는 것이 우선입니다. 특히 종량제 호스팅·서버리스 구조를 쓰는 곳은 봇 트래픽 급증이 곧바로 청구서로 돌아오니 더 주의가 필요합니다.