Ein Entwickler hat sprinklz.io entwickelt, einen anpassbaren Feed-Reader, der Themen wie LLMs in der Priorität herabstufen kann, und das Projekt auf Hacker News veröffentlicht. Es erhielt rund hundert Upvotes, und die Nutzer schienen es zu genießen, KI-Inhalte herauszufiltern, was zeigte, warum ein solches Tool nützlich ist.
Kurz darauf wurde die Website quälend langsam. Der Entwickler vermutete zunächst, dass die zusätzliche Aufmerksamkeit schuld war, doch die Verlangsamung hielt an und verschlimmerte sich sogar einige Tage nach der Veröffentlichung. Die Protokollierung jedes Endpunkts ergab, dass die meisten Anfragen nie versuchten, Nachrichtenartikel abzurufen. Da es sich bei der Website um eine Single-Page-Anwendung handelt, führte die Mehrheit dieser Anfragen nicht einmal das JavaScript aus, das zum Rendern einer Seite nötig ist.
NGINX-Protokolle zeigten, dass fast die Hälfte des Traffics von einem einzigen Nutzer stammte, einem Dienst, der sich selbst als Überwacher von Website-Änderungen beschreibt, die er in KI-generierten Newslettern zusammenfasst. Er fragte die Website mehrmals pro Minute ab, und der Entwickler blockierte ihn. Weitere Quellen waren Standard-Crawler von Claude, OpenAI und dem Suchindexer von Google, die sich zu erkennen gaben. Außerdem tauchten einige Schwachstellenscanner auf, darunter einer, der nach einer WordPress-Datei suchte, obwohl die Website nicht mit WordPress läuft.
Der Entwickler aktualisierte die robots.txt, um die meisten KI-Scanner abzuhalten, während Googlebot und anderer Suchverkehr erlaubt blieben, und fügte sinnvolle Ratenbegrenzungen hinzu. Die wichtigste Lehre war die Notwendigkeit einer schnelleren, besser skalierbaren Website. In den folgenden Wochen nahm der Entwickler mehrere Infrastrukturverbesserungen vor, die allen Nutzern spürbare Leistungsgewinne bringen sollten.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing