Qui paie
Indie hackers et fondateurs de petits SaaS sur des plateformes à la consommation (GCP, Vercel, AWS) : 29 à 99 $/mois, justifiés par une seule facture de 10 K$ évitée.
Ce que les gens ont dit
Un fondateur a reçu une facture GCP de 10 K$ en un mois à cause du scraping de ClaudeBot, probablement par des copieurs du logiciel.
Lire le commentaire ↗Les factures Vercel de connaissances ont explosé à cause du scraping de bots juste après une promotion sur HN/Twitter, alors que la protection bot de Cloudflare était active.
Lire le commentaire ↗L'opérateur doit bloquer des ASN entiers de fournisseurs cloud sur l'ensemble de ses propriétés à cause d'un scraping abusif incessant, ce qui pénalise de vrais utilisateurs de VPN.
Lire le commentaire ↗
Reformulé à partir de la discussion. Suivez les liens pour lire les commentaires d'origine.
Pourquoi maintenant
Les crawlers IA et les agents de scraping furtifs ont explosé ces 12 derniers mois (ClaudeBot, GPTBot, agents discrets), et la facturation à l'usage (Vercel, serverless) transforme directement le trafic en perte d'argent.
Ce qui existe déjà
Le manque
Les outils anti-bots existants sont des WAF en périphérie ; les alertes de dépenses cloud se contentent de notifier. Personne ne relie la classification des requêtes par bot à une atténuation qui s'intensifie automatiquement (rate-limit, challenge, blocage d'ASN, cache) pour plafonner les dépenses à l'usage sur de petits déploiements facturés à la consommation.
Avantage défensif
Base grandissante d'empreintes de scrapers et de données comportementales mutualisées entre clients ; effet de verrouillage à mesure que les règles d'atténuation s'accumulent pour chaque site.
Les arguments contre
Ce qui la ferait échouer
Cloudflare lance une offre gratuite de blocage de bots « consciente des dépenses » et banalise la valeur centrale du jour au lendemain.
L'objection la plus forte de la red team
Douleur réelle, actuelle et coûteuse (factures surprises de 10 K$ dues aux crawlers IA), et aucun produit ne relie la classification des bots à un plafonnement automatique des dépenses sur les plateformes à l'usage pour le segment hors grands comptes.
La construire en 3 étapes
- Livrer un agent/middleware pour Vercel, Cloudflare Workers et NGINX qui journalise les empreintes des requêtes et le coût d'egress par route.
- Ajouter des heuristiques de détection (absence de requêtes CSS/JS/favicon, motifs d'ASN, User-Agents connus de crawlers IA) avec escalade automatique en rate-limit/blocage.
- Se connecter aux API de facturation cloud pour déclencher des plafonds stricts ou des alertes lorsque la dépense projetée liée au scraping dépasse un seuil.
Discussion d'origine
I posted to HN, and then my website was flooded with AI bot traffic ↗
345 points · 185 commentaires · Des commentaires · Article lié
Traduit de l'anglais. Lire l'original