누가 돈을 내나
사용량 과금 플랫폼(GCP, Vercel, AWS)을 쓰는 인디 해커와 소규모 SaaS 창업자. 월 $29~99 가격이며, 청구서 한 번(약 $10K)을 막는 것만으로 충분히 정당화됩니다.
$29
사람들이 한 말
한 창업자가 ClaudeBot 스크레이핑으로 한 달에 $10K짜리 GCP 청구서를 받았고, 소프트웨어를 복제하려는 사람들이 원인일 가능성이 큽니다.
댓글 읽기 ↗지인들의 Vercel 청구서가 HN/Twitter 마케팅 직후 봇 스크레이핑으로 급증했고, Cloudflare 봇 보호를 켜 둔 상태였습니다.
댓글 읽기 ↗운영자가 여러 서비스에 걸쳐 악성 스크레이핑 때문에 클라우드 제공업체 ASN 전체를 차단해야 했고, 그 결과 정상적인 VPN 사용자가 피해를 봤습니다.
댓글 읽기 ↗
토론 내용을 요약한 것입니다. 원래 댓글은 링크에서 볼 수 있습니다.
왜 지금인가
지난 12개월 사이 AI 크롤러와 에이전트형 스크레이퍼(ClaudeBot, GPTBot, 스텔스 에이전트)가 폭발적으로 늘었고, 종량제 가격(Vercel, 서버리스)에서는 트래픽이 곧 금전 손실로 이어집니다.
이미 있는 것
공백
기존 봇 도구는 엣지의 WAF이고, 기존 클라우드 비용 알림은 통지만 합니다. 요청 단위 봇 분류를 자동으로 단계 상승하는 완화(레이트 리밋, 챌린지, ASN 차단, 캐싱)와 연결해 소규모 종량제 배포의 과금을 상한으로 묶는 제품은 없습니다.
해자
여러 고객사에서 쌓이는 스크레이퍼 핑거프린트 블록리스트와 행동 데이터셋, 그리고 사이트별로 완화 규칙이 누적되면서 생기는 워크플로 락인.
반대 근거
실패한다면 그 이유
Cloudflare가 '지출 인식 봇 차단' 무료 티어를 출시해 핵심 가치를 하루아침에 상품화할 수 있습니다.
레드팀의 가장 강한 반론
실제로 지금 돈을 잃게 만드는 고통입니다(AI 크롤러로 인한 $10K 규모의 예기치 않은 청구서). 엔터프라이즈 미만 구간에서 종량제 플랫폼 위에 봇 분류와 자동 지출 상한 완화를 연결한 제품은 아직 없습니다.
3단계로 만들기
- Vercel, Cloudflare Workers, NGINX용 에이전트/미들웨어를 만들어 요청 핑거프린트와 경로별 이그레스 비용을 기록합니다.
- 탐지 휴리스틱(CSS/JS/파비콘 요청 없음, ASN 패턴, 알려진 AI 크롤러 UA)을 추가하고 레이트 리밋과 차단을 자동으로 단계 상승시킵니다.
- 클라우드 빌링 API에 연결해, 예상 스크레이퍼 지출이 임계값을 넘으면 하드 캡이나 알림을 발동시킵니다.
원래 토론
I posted to HN, and then my website was flooded with AI bot traffic ↗
345포인트 · 댓글 185개 · 댓글에서 · 링크된 기사
영어에서 번역했습니다. 원문 읽기