Разработчик создал sprinklz.io, настраиваемый агрегатор новостей, который может понижать приоритет таких тем, как LLM, и опубликовал проект на Hacker News. Он получил около ста голосов «за», и пользователям, судя по всему, понравилась фильтрация контента ИИ, что показало полезность такого инструмента.
Вскоре после этого сайт стал мучительно медленным. Сначала разработчик решил, что виной тому дополнительное внимание, но замедление продолжалось и даже усилилось через несколько дней после публикации. Журналирование всех эндпоинтов показало, что большинство запросов вовсе не пытались получить новостные статьи. Поскольку сайт является одностраничным приложением, большинство этих запросов даже не запускали JavaScript, необходимый для отрисовки страницы.
Логи NGINX показали, что почти половина трафика приходилась на одного пользователя — сервис, который описывает себя как отслеживающий изменения на сайтах и составляющий из них информационные рассылки, созданные ИИ. Он обращался к сайту несколько раз в минуту, и разработчик заблокировал его. Другими источниками были стандартные краулеры Claude, OpenAI и индексатора поиска Google, которые представились. Также появились сканеры уязвимостей, один из которых искал файл WordPress, хотя сайт не работает на WordPress.
Разработчик обновил robots.txt, чтобы отговорить большинство ИИ-сканеров, разрешив Googlebot и другой поисковый трафик, и добавил разумные ограничения скорости запросов. Главный урок заключался в необходимости более быстрого и масштабируемого сайта. В последующие недели разработчик провёл несколько улучшений инфраструктуры, которые должны дать существенный прирост производительности для всех пользователей.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing