Un développeur a créé sprinklz.io, un lecteur de flux personnalisable capable de déprioriser des sujets comme les LLM, et a publié le projet sur Hacker News. Il a recueilli une centaine de votes positifs, et les utilisateurs semblaient apprécier le filtrage des contenus d'IA, ce qui montrait l'utilité d'un tel outil.
Peu après, le site est devenu péniblement lent. Le développeur a d'abord supposé que l'attention supplémentaire en était la cause, mais le ralentissement s'est poursuivi et même aggravé plusieurs jours après la publication. L'enregistrement de chaque point d'accès a révélé que la plupart des requêtes ne cherchaient jamais à récupérer des articles d'actualité. Comme le site est une application monopage, la majorité de ces requêtes n'exécutaient même pas le JavaScript nécessaire au rendu d'une page.
Les journaux NGINX ont montré que près de la moitié du trafic provenait d'un seul utilisateur, un service qui se décrit comme surveillant les changements de sites web et les résumant dans des newsletters générées par IA. Il interrogeait le site plusieurs fois par minute, et le développeur l'a bloqué. Plusieurs autres sources étaient des robots d'indexation standard de Claude, OpenAI et de l'indexeur de recherche de Google, qui se sont identifiés. Quelques scanners de vulnérabilités sont également apparus, dont un qui cherchait un fichier WordPress alors que le site n'utilise pas WordPress.
Le développeur a mis à jour robots.txt pour décourager la plupart des scanners IA tout en autorisant Googlebot et les autres robots de recherche, et a ajouté des limites de débit raisonnables. La principale leçon était la nécessité d'un site plus rapide et plus évolutif. Au cours des semaines suivantes, le développeur a apporté plusieurs améliorations d'infrastructure qui devraient procurer des gains de performance substantiels à tous les utilisateurs.
Source: Hacker News · Résumé par HeadlinesBriefing