谁会付费
使用按量计费平台(GCP、Vercel、AWS)的独立开发者和小型 SaaS 创始人,定价 29–99 美元/月,理由是避免一次 10K 美元的账单就已回本。
讨论中的声音
一位创始人因 ClaudeBot 爬取,一个月收到 10K 美元的 GCP 账单,推测是复制软件的人在抓取。
查看评论 ↗据熟人反映,在 HN/Twitter 上推广之后,即便已开启 Cloudflare 机器人防护,Vercel 账单仍因机器人爬取而暴涨。
查看评论 ↗运营者因持续的滥用性爬取,不得不在多个站点封禁整个云服务商的 ASN,这也误伤了真正使用 VPN 的用户。
查看评论 ↗
内容转述自讨论，原评论请点击链接查看。
为什么是现在
过去 12 个月 AI 爬虫和智能体式爬取器激增(ClaudeBot、GPTBot、隐身型智能体),而按量计费(Vercel、serverless)让流量直接变成金钱损失。
现有产品
空白点
现有机器人工具多是边缘 WAF,现有云支出告警只负责通知。目前没有产品能把逐请求的机器人分类与自动升级的缓解措施(限流、挑战、ASN 封禁、缓存)直接绑定,专门用于为小型按量计费部署封顶计量支出。
护城河
跨客户积累的爬虫指纹黑名单和行为数据集;随着每个站点的缓解规则不断累积,形成工作流层面的锁定。
反对理由
最可能的失败原因
Cloudflare 一夜之间推出免费的“支出感知机器人拦截”层,使核心价值被商品化。
红队最有力的反对意见
痛点真实且当下正在烧钱(AI 爬虫造成 10K 美元的意外账单),但在按量计费平台上,面向企业级以下市场、把机器人分类与自动封顶支出的缓解措施结合起来的产品目前并不存在。
三步做出来
- 为 Vercel、Cloudflare Workers 和 NGINX 提供一个 agent/中间件,记录请求指纹和逐路由的出站成本。
- 加入检测启发式规则(无 CSS/JS/favicon 请求、ASN 模式、已知 AI 爬虫 UA),并支持自动限流/封禁升级。
- 接入云计费 API,当预测的爬虫支出超过阈值时触发硬性上限或告警。
原始讨论
I posted to HN, and then my website was flooded with AI bot traffic ↗
345 点 · 185 条评论 · 源自评论 · 原文链接
本文译自英文。 阅读原文