開発者はsprinklz.ioを作りました。これはLLMなどのトピックの優先度を下げられる、カスタマイズ可能なフィードリーダーです。このプロジェクトをHacker Newsに投稿したところ、約100のアップボートを集め、ユーザーがAIコンテンツをフィルタリングすることを楽しんでいる様子から、このようなツールの有用性が示されました。
その直後、ウェブサイトがひどく遅くなりました。開発者は当初、注目が集まったことが原因だと考えましたが、遅延は続き、投稿から数日後にはむしろ悪化しました。すべてのエンドポイントを記録したところ、ほとんどのリクエストはニュース記事を取得しようとしていないことがわかりました。このサイトはシングルページアプリケーションのため、これらのリクエストの大半はページを描画するのに必要なJavaScriptすら実行していませんでした。
NGINXのログによると、トラフィックの約半分は1つのユーザーからのものでした。そのサービスはウェブサイトの変更を監視し、AIが生成するニュースレターにまとめると説明していました。それは毎分何度もサイトに問い合わせており、開発者はそれをブロックしました。その他のアクセス元は、Claude、OpenAI、Googleの検索インデクサーの標準的なクローラーで、いずれも自身を名乗っていました。また、いくつかの脆弱性スキャナーも現れ、そのうちの1つはサイトがWordPressを使用していないにもかかわらず、WordPressのファイルを探っていました。
開発者はrobots.txtを更新し、Googlebotなどの検索トラフィックは許可しつつ、ほとんどのAIスキャナーを排除するようにしました。また、適切なレート制限も追加しました。最大の教訓は、より高速でスケーラブルなサイトが必要だということでした。その後数週間にわたり、開発者はインフラを改善し、すべてのユーザーにとって大幅なパフォーマンス向上が期待できる状態にしました。
出典: Hacker News · 要約：HeadlinesBriefing