一位开发者制作了sprinklz.io，这是一款可自定义的信息流阅读器，能够降低LLM等话题的优先级。他将该项目发布到Hacker News，获得了约一百个赞成票，用户似乎很喜欢过滤AI内容，这也说明了此类工具的实用性。
不久之后，网站变得异常缓慢。开发者起初以为是额外的关注导致的，但在帖子发布数天后，速度下降不仅持续，甚至更加严重。记录每个端点后发现，大多数请求根本没有尝试获取新闻文章。由于该网站是单页应用，大多数请求甚至没有运行渲染页面所需的JavaScript。
NGINX日志显示，近一半的流量来自一名用户，即一项自称会监听网站变化并将其汇总为AI生成通讯的服务。它每分钟多次查询该网站，开发者随后将其屏蔽。其他几个来源是来自Claude、OpenAI和Google搜索索引器的标准爬虫，它们均表明了自己的身份。另外还出现了一些漏洞扫描器，其中一个在探测WordPress文件，尽管该网站并未运行WordPress。
开发者更新了robots.txt，以阻止大多数AI扫描器，同时允许Googlebot和其他搜索流量，并添加了合理的速率限制。主要的教训是需要一个更快、更具可扩展性的网站。在随后的几周里，开发者进行了多项基础设施改进，这些改进应能为所有用户带来显著的性能提升。
来源: Hacker News · 由HeadlinesBriefing整理摘要