Um desenvolvedor criou o sprinklz.io, um leitor de feeds personalizável que pode reduzir a prioridade de tópicos como LLMs, e publicou o projeto no Hacker News. Ele recebeu cerca de cem votos positivos, e os usuários pareceram gostar de filtrar conteúdo de IA, o que mostrou a utilidade de uma ferramenta assim.
Logo depois, o site ficou dolorosamente lento. O desenvolvedor primeiro achou que a atenção extra era a culpada, mas a lentidão continuou e até piorou vários dias após a publicação. O registro de cada endpoint revelou que a maioria das requisições nunca tentou buscar artigos de notícias. Como o site é uma aplicação de página única, a maioria dessas requisições nem executava o JavaScript necessário para renderizar uma página.
Os logs do NGINX mostraram que quase metade do tráfego veio de um único usuário, um serviço que se descreve como monitor de mudanças em sites que as resume em newsletters geradas por IA. Ele consultava o site muitas vezes por minuto, e o desenvolvedor o bloqueou. Outras fontes eram rastreadores padrão da Claude, da OpenAI e do indexador de busca do Google, que se identificaram. Alguns scanners de vulnerabilidades também apareceram, um deles procurando um arquivo do WordPress, embora o site não use WordPress.
O desenvolvedor atualizou o robots.txt para desencorajar a maioria dos scanners de IA, permitindo o Googlebot e outro tráfego de busca, e adicionou limites de taxa razoáveis. A principal lição foi a necessidade de um site mais rápido e escalável. Nas semanas seguintes, o desenvolvedor fez várias melhorias de infraestrutura que devem trazer ganhos substanciais de desempenho para todos os usuários.
Fonte: Hacker News · Resumido por HeadlinesBriefing