कौन भुगतान करेगा
इंडी हैकर्स और छोटे SaaS founders जो usage-based प्लेटफ़ॉर्म (GCP, Vercel, AWS) पर हैं। कीमत $29–99/महीना, जिसे एक बचाए गए $10K बिल से जायज़ ठहराया जा सकता है।
$29–99
लोगों ने क्या कहा
एक founder को ClaudeBot स्क्रेपिंग से एक महीने में $10K का GCP बिल मिला, शायद cloners के सॉफ़्टवेयर कॉपी करने की वजह से।
टिप्पणी पढ़ें ↗कुछ परिचितों के Vercel बिल HN/Twitter पर मार्केटिंग के तुरंत बाद bot स्क्रेपिंग से बढ़ गए, भले ही Cloudflare bot protection चालू था।
टिप्पणी पढ़ें ↗एक operator को लगातार अपमानजनक स्क्रेपिंग के कारण अपनी सभी properties पर पूरे cloud provider ASNs ब्लॉक करने पड़े, जिससे असली VPN उपयोगकर्ताओं को नुकसान हुआ।
टिप्पणी पढ़ें ↗
चर्चा से अपने शब्दों में लिखा गया। मूल टिप्पणियों के लिए लिंक देखें।
अभी क्यों
पिछले 12 महीनों में AI crawlers और agentic scrapers में ज़बरदस्त उछाल आया है (ClaudeBot, GPTBot, stealth agents), और usage-based pricing (Vercel, serverless) में ट्रैफ़िक सीधे पैसे के नुकसान में बदल जाता है।
पहले से मौजूद
कमी
मौजूदा bot tools edge पर WAF हैं; मौजूदा cloud spend alerts केवल सूचना देते हैं। कोई ऐसा उत्पाद नहीं जो प्रति-request bot classification को अपने-आप बढ़ने वाले mitigation (rate-limit, challenge, ASN block, cache) से जोड़े, ताकि छोटे usage-based deployments में metered spend सीमित हो सके।
सुरक्षा कवच
कई customers में scraper fingerprints का बढ़ता blocklist और behavioral dataset; हर साइट पर mitigation rules जमा होने से workflow lock-in।
विपक्ष में तर्क
यह किस वजह से असफल हो सकता है
Cloudflare एक मुफ़्त 'spend-aware bot blocking' tier लॉन्च कर दे और रातों-रात मुख्य मूल्य कमोडिटी बन जाए।
रेड टीम की सबसे मज़बूत आपत्ति
वास्तविक, मौजूदा और पैसे का नुकसान कराने वाला दर्द है ($10K के अचानक आने वाले बिल AI crawlers से)। sub-enterprise स्तर पर usage-based प्लेटफ़ॉर्म के लिए ऐसा कोई उत्पाद नहीं जो bot classification को स्वचालित spend-capping mitigation से जोड़ता हो।
3 कदमों में बनाएँ
- Vercel, Cloudflare Workers और NGINX के लिए एक agent/middleware बनाएँ जो request fingerprints और प्रति-route egress cost लॉग करे।
- detection heuristics जोड़ें (CSS/JS/favicon requests का न होना, ASN patterns, ज्ञात AI crawler UAs) और स्वचालित rate-limit/block escalation लागू करें।
- cloud billing APIs से जोड़ें ताकि अनुमानित scraper spend किसी सीमा को पार करने पर hard caps या alerts ट्रिगर हों।
मूल चर्चा
I posted to HN, and then my website was flooded with AI bot traffic ↗
345 पॉइंट · 185 टिप्पणियाँ · टिप्पणियों से · जुड़ा हुआ लेख
अंग्रेज़ी से अनूदित। मूल पढ़ें