Siapa yang membayar
Indie hacker dan founder SaaS kecil di platform berbasis pemakaian (GCP, Vercel, AWS). Harganya $29–99/bulan, dibenarkan oleh satu tagihan $10K yang berhasil dihindari.
$29–99
Apa kata orang
Founder terkena tagihan GCP $10K dalam satu bulan akibat scraping ClaudeBot, kemungkinan dari cloner yang menyalin perangkat lunaknya.
Baca komentarnya ↗Tagihan Vercel milik beberapa kenalan melonjak akibat scraping bot tepat setelah promosi di HN/Twitter, meski proteksi bot Cloudflare sudah aktif.
Baca komentarnya ↗Operator harus memblokir seluruh ASN penyedia cloud di berbagai properti karena scraping abusif yang terus-menerus, yang juga merugikan pengguna VPN yang sah.
Baca komentarnya ↗
Diparafrasekan dari diskusi. Ikuti tautan untuk komentar aslinya.
Mengapa sekarang
Crawler AI dan scraper agentic meledak dalam 12 bulan terakhir (ClaudeBot, GPTBot, agent siluman), dan harga berbasis pemakaian (Vercel, serverless) membuat lonjakan trafik langsung menjadi kerugian uang.
Yang sudah ada
Celahnya
WAF bot yang ada bekerja di edge, sedangkan alert biaya cloud yang ada hanya memberi notifikasi. Belum ada produk yang menghubungkan klasifikasi bot per request dengan mitigasi yang meningkat otomatis (rate-limit, challenge, pemblokiran ASN, cache) khusus untuk membatasi belanja metered pada deployment kecil berbasis pemakaian.
Parit pertahanan
Dataset blocklist dan sidik jari perilaku scraper yang terus bertambah dari seluruh pelanggan, serta lock-in alur kerja karena aturan mitigasi menumpuk di setiap situs.
Argumen menentang
Yang bisa membuatnya gagal
Cloudflare meluncurkan tier gratis 'spend-aware bot blocking' dan menjadikan nilai inti produk ini komoditas dalam semalam.
Keberatan terkuat dari red team
Rasa sakitnya nyata dan sedang terjadi (tagihan kejutan $10K akibat crawler AI). Belum ada produk yang menghubungkan klasifikasi bot dengan mitigasi otomatis yang membatasi belanja di platform berbasis pemakaian untuk segmen di bawah enterprise.
Bangun dalam 3 langkah
- Rilis agent/middleware untuk Vercel + Cloudflare Workers + NGINX yang mencatat sidik jari request dan biaya egress per rute.
- Tambahkan heuristik deteksi (tanpa request CSS/JS/favicon, pola ASN, User-Agent crawler AI yang dikenal) dengan eskalasi rate-limit/blokir otomatis.
- Hubungkan ke API billing cloud untuk memicu hard cap/alert saat proyeksi belanja scraper melewati ambang batas.
Diskusi asli
I posted to HN, and then my website was flooded with AI bot traffic ↗
345 poin · 185 komentar · Dari komentar · Artikel tertaut
Diterjemahkan dari bahasa Inggris. Baca versi asli