Chi paga
Indie hacker e founder di piccole SaaS su piattaforme a consumo (GCP, Vercel, AWS): 29–99 $/mese, giustificati da una singola bolletta da 10K $ evitata.
Cosa ha detto la gente
Un founder ha ricevuto una bolletta GCP da 10K $ in un mese per lo scraping di ClaudeBot, probabilmente da cloner che copiavano il software.
Leggi il commento ↗Le bollette Vercel di alcuni conoscenti sono esplose a causa dello scraping dei bot subito dopo il marketing su HN/Twitter, anche con la protezione bot di Cloudflare attiva.
Leggi il commento ↗Un operatore è costretto a bloccare interi ASN di provider cloud su tutte le proprietà a causa di scraping abusivo continuo, con danni per gli utenti VPN legittimi.
Leggi il commento ↗
Parafrasato dalla discussione. Segui i link per i commenti originali.
Perché ora
Crawler AI e scraper agentici sono esplosi negli ultimi 12 mesi (ClaudeBot, GPTBot, agenti stealth), e i prezzi a consumo (Vercel, serverless) trasformano il traffico direttamente in perdita di denaro.
Cosa esiste già
Il vuoto
Gli strumenti anti-bot esistenti sono WAF al edge; gli avvisi di spesa cloud si limitano a notificare. Nessuno collega la classificazione dei bot per singola richiesta a una mitigazione che si intensifica automaticamente (rate-limit, challenge, blocco ASN, cache) con l'obiettivo specifico di limitare la spesa a consumo nelle piccole installazioni su piattaforme a consumo.
Fossato
Dataset crescente di fingerprint di scraper e comportamenti osservati su tutti i clienti; lock-in del flusso di lavoro man mano che le regole di mitigazione si accumulano per ogni sito.
Argomenti contro
Cosa la farebbe fallire
Cloudflare lancia un tier gratuito di 'blocco bot consapevole della spesa' e rende il valore principale una commodity da un giorno all'altro.
L'obiezione più forte del red team
Dolore reale, attuale e che brucia denaro (bollette a sorpresa da 10K $ causate dai crawler AI), e nessun prodotto collega la classificazione dei bot alla mitigazione automatica del tetto di spesa su piattaforme a consumo per la fascia sotto l'enterprise.
Costruiscila in 3 passi
- Rilasciare un agente/middleware per Vercel + Cloudflare Workers + NGINX che registra i fingerprint delle richieste e il costo di egress per route.
- Aggiungere euristiche di rilevamento (assenza di richieste CSS/JS/favicon, pattern ASN, User-Agent noti di crawler AI) con escalation automatica di rate-limit/blocco.
- Collegarsi alle API di fatturazione cloud per attivare tetti rigidi e avvisi quando la spesa prevista dagli scraper supera una soglia.
Discussione originale
I posted to HN, and then my website was flooded with AI bot traffic ↗
345 punti · 185 commenti · Dai commenti · Articolo collegato
Tradotto dall'inglese. Leggi l'originale