I posted to HN, and then my website was flooded with AI bot traffic

A developer who built sprinklz.io, a customizable feed reader that can deprioritize topics such as LLMs, posted the project to Hacker News. It drew about a hundred upvotes, and users seemed to enjoy filtering out AI content, which showed why a tool like this is useful.

Soon after, the website became painfully slow. The developer first assumed the extra attention was to blame, but the slowdown continued and even worsened several days after the post went live. Logging every endpoint revealed that most requests never tried to fetch news articles. Because the site is a single-page application, the majority of these requests did not even run the JavaScript needed to render a page.

NGINX logs showed that nearly half of the traffic came from one user, a service that describes itself as listening for changes to websites and summarizing them into AI-generated newsletters. It was querying the site many times per minute, and the developer blocked it. Several other sources were standard crawlers from Claude, OpenAI and Google's search indexer, which identified themselves. A few vulnerability scanners also appeared, including one probing for a WordPress file although the site does not run WordPress.

The developer updated robots.txt to discourage most AI scanners while allowing Googlebot and other search traffic, and added reasonable rate limits. The main lesson was the need for a faster, more scalable site. Over the following weeks, the developer made several infrastructure improvements that should yield substantial performance gains for all users.

طوّر مطور موقع sprinklz.io، وهو قارئ موجزات قابل للتخصيص يمكنه خفض أولوية مواضيع مثل نماذج اللغة الكبيرة، ونشر المشروع على Hacker News. حصد نحو مئة تصويت إيجابي، وبدا أن المستخدمين استمتعوا بتصفية محتوى الذكاء الاصطناعي، مما أظهر فائدة أداة كهذه.

بعد ذلك بوقت قصير، أصبح الموقع بطيئًا بشكل مؤلم. افترض المطور في البداية أن الاهتمام الإضافي هو السبب، لكن البطء استمر وازداد سوءًا بعد عدة أيام من نشر المشروع. وكشف تسجيل كل نقطة نهاية أن معظم الطلبات لم تحاول جلب مقالات إخبارية. ولأن الموقع تطبيق صفحة واحدة، فإن غالبية هذه الطلبات لم تشغّل حتى الكود البرمجي اللازم لعرض الصفحة.

أظهرت سجلات NGINX أن ما يقارب نصف الزيارات جاء من مستخدم واحد، وهو خدمة تصف نفسها بأنها ترصد التغييرات في المواقع وتلخصها في نشرات بريدية مولّدة بالذكاء الاصطناعي. كانت تستعلم عن الموقع عدة مرات في الدقيقة، فقام المطور بحظرها. أما المصادر الأخرى فكانت زاحفات قياسية من Claude وOpenAI ومفهرس البحث في Google، وقد عرّفت عن نفسها. كما ظهرت بعض ماسحات الثغرات، أحدها كان يبحث عن ملف خاص بـ WordPress رغم أن الموقع لا يعمل بـ WordPress.

حدّث المطور ملف robots.txt لثني معظم ماسحات الذكاء الاصطناعي، مع السماح بـ Googlebot وحركة البحث الأخرى، وأضاف حدودًا معقولة لمعدل الطلبات. وكان الدرس الأساسي الحاجة إلى موقع أسرع وأكثر قابلية للتوسع. وخلال الأسابيع التالية، أجرى المطور عدة تحسينات في البنية التحتية يُفترض أن تحقق مكاسب كبيرة في الأداء لجميع المستخدمين.

একজন ডেভেলপার sprinklz.io তৈরি করেছেন, একটি কাস্টমাইজযোগ্য ফিড রিডার যা LLM-এর মতো বিষয়গুলোর অগ্রাধিকার কমাতে পারে। তিনি প্রকল্পটি Hacker News-এ পোস্ট করেন, যা প্রায় একশত আপভোট পায়, এবং ব্যবহারকারীরা AI কনটেন্ট ফিল্টার করে উপভোগ করছিলেন বলে মনে হয়, যা দেখিয়েছে এমন একটি টুল কেন কার্যকর।

এর কিছুক্ষণ পরেই ওয়েবসাইটটি অসহনীয়ভাবে ধীর হয়ে যায়। ডেভেলপার প্রথমে ভেবেছিলেন অতিরিক্ত মনোযোগই এর কারণ, কিন্তু পোস্ট লাইভ হওয়ার কয়েক দিন পরও ধীরগতি চলতে থাকে এবং আরও খারাপ হয়। প্রতিটি এন্ডপয়েন্ট লগ করে দেখা যায় যে বেশিরভাগ অনুরোধ আদৌ সংবাদ নিবন্ধ আনার চেষ্টা করেনি। সাইটটি একটি সিঙ্গেল-পেজ অ্যাপ্লিকেশন হওয়ায়, এসব অনুরোধের বেশিরভাগই পেজ রেন্ডার করার জন্য প্রয়োজনীয় JavaScript চালায়নি।

NGINX লগ দেখায় যে প্রায় অর্ধেক ট্রাফিক একজন ব্যবহারকারী থেকে এসেছে, একটি সেবা যা নিজেকে ওয়েবসাইট পরিবর্তনের উপর নজর রাখে এবং সেগুলোকে AI-জেনারেটেড নিউজলেটারে সারসংক্ষেপ করে বলে বর্ণনা করে। এটি প্রতি মিনিটে সাইটটিকে বহুবার প্রশ্ন করছিল, এবং ডেভেলপার সেটি ব্লক করেন। অন্য উৎসগুলো ছিল Claude, OpenAI এবং Google-এর সার্চ ইনডেক্সারের স্ট্যান্ডার্ড ক্রলার, যারা নিজেদের পরিচয় দিয়েছিল। কয়েকটি দুর্বলতা-স্ক্যানারও দেখা যায়, যার একটি WordPress ফাইল খুঁজছিল, যদিও সাইটটি WordPress চালায় না।

ডেভেলপার বেশিরভাগ AI স্ক্যানারকে নিরুৎসাহিত করতে robots.txt আপডেট করেন, তবে Googlebot এবং অন্যান্য সার্চ ট্রাফিককে অনুমতি দেন, এবং যুক্তিসঙ্গত রেট লিমিট যোগ করেন। মূল শিক্ষা ছিল একটি দ্রুততর ও আরও স্কেলযোগ্য সাইটের প্রয়োজনীয়তা। পরের কয়েক সপ্তাহে ডেভেলপার কয়েকটি অবকাঠামোগত উন্নতি করেন, যা সব ব্যবহারকারীর জন্য উল্লেখযোগ্য কর্মক্ষমতার উন্নতি আনবে বলে আশা করা যায়।

Ein Entwickler hat sprinklz.io entwickelt, einen anpassbaren Feed-Reader, der Themen wie LLMs in der Priorität herabstufen kann, und das Projekt auf Hacker News veröffentlicht. Es erhielt rund hundert Upvotes, und die Nutzer schienen es zu genießen, KI-Inhalte herauszufiltern, was zeigte, warum ein solches Tool nützlich ist.

Kurz darauf wurde die Website quälend langsam. Der Entwickler vermutete zunächst, dass die zusätzliche Aufmerksamkeit schuld war, doch die Verlangsamung hielt an und verschlimmerte sich sogar einige Tage nach der Veröffentlichung. Die Protokollierung jedes Endpunkts ergab, dass die meisten Anfragen nie versuchten, Nachrichtenartikel abzurufen. Da es sich bei der Website um eine Single-Page-Anwendung handelt, führte die Mehrheit dieser Anfragen nicht einmal das JavaScript aus, das zum Rendern einer Seite nötig ist.

NGINX-Protokolle zeigten, dass fast die Hälfte des Traffics von einem einzigen Nutzer stammte, einem Dienst, der sich selbst als Überwacher von Website-Änderungen beschreibt, die er in KI-generierten Newslettern zusammenfasst. Er fragte die Website mehrmals pro Minute ab, und der Entwickler blockierte ihn. Weitere Quellen waren Standard-Crawler von Claude, OpenAI und dem Suchindexer von Google, die sich zu erkennen gaben. Außerdem tauchten einige Schwachstellenscanner auf, darunter einer, der nach einer WordPress-Datei suchte, obwohl die Website nicht mit WordPress läuft.

Der Entwickler aktualisierte die robots.txt, um die meisten KI-Scanner abzuhalten, während Googlebot und anderer Suchverkehr erlaubt blieben, und fügte sinnvolle Ratenbegrenzungen hinzu. Die wichtigste Lehre war die Notwendigkeit einer schnelleren, besser skalierbaren Website. In den folgenden Wochen nahm der Entwickler mehrere Infrastrukturverbesserungen vor, die allen Nutzern spürbare Leistungsgewinne bringen sollten.

Un desarrollador creó sprinklz.io, un lector de feeds personalizable que puede reducir la prioridad de temas como los LLM, y publicó el proyecto en Hacker News. Recibió unas cien votaciones positivas, y los usuarios parecieron disfrutar filtrando el contenido de IA, lo que demostró la utilidad de una herramienta así.

Poco después, el sitio web se volvió dolorosamente lento. Al principio, el desarrollador supuso que la atención adicional era la culpable, pero la ralentización continuó e incluso empeoró varios días después de la publicación. Al registrar todos los endpoints, se descubrió que la mayoría de las solicitudes nunca intentaban obtener artículos de noticias. Como el sitio es una aplicación de una sola página, la mayoría de estas solicitudes ni siquiera ejecutaban el JavaScript necesario para renderizar una página.

Los registros de NGINX mostraron que casi la mitad del tráfico procedía de un solo usuario, un servicio que se describe a sí mismo como un sistema que vigila los cambios en sitios web y los resume en boletines generados por IA. Consultaba el sitio muchas veces por minuto, y el desarrollador lo bloqueó. Otras fuentes eran rastreadores estándar de Claude, OpenAI y el indexador de búsqueda de Google, que se identificaron. También aparecieron algunos escáneres de vulnerabilidades, uno de ellos buscando un archivo de WordPress, aunque el sitio no utiliza WordPress.

El desarrollador actualizó robots.txt para desalentar a la mayoría de los escáneres de IA, permitiendo a Googlebot y otro tráfico de búsqueda, y añadió límites de frecuencia razonables. La lección principal fue la necesidad de un sitio más rápido y escalable. En las semanas siguientes, el desarrollador realizó varias mejoras de infraestructura que deberían traer mejoras de rendimiento sustanciales para todos los usuarios.

Un développeur a créé sprinklz.io, un lecteur de flux personnalisable capable de déprioriser des sujets comme les LLM, et a publié le projet sur Hacker News. Il a recueilli une centaine de votes positifs, et les utilisateurs semblaient apprécier le filtrage des contenus d'IA, ce qui montrait l'utilité d'un tel outil.

Peu après, le site est devenu péniblement lent. Le développeur a d'abord supposé que l'attention supplémentaire en était la cause, mais le ralentissement s'est poursuivi et même aggravé plusieurs jours après la publication. L'enregistrement de chaque point d'accès a révélé que la plupart des requêtes ne cherchaient jamais à récupérer des articles d'actualité. Comme le site est une application monopage, la majorité de ces requêtes n'exécutaient même pas le JavaScript nécessaire au rendu d'une page.

Les journaux NGINX ont montré que près de la moitié du trafic provenait d'un seul utilisateur, un service qui se décrit comme surveillant les changements de sites web et les résumant dans des newsletters générées par IA. Il interrogeait le site plusieurs fois par minute, et le développeur l'a bloqué. Plusieurs autres sources étaient des robots d'indexation standard de Claude, OpenAI et de l'indexeur de recherche de Google, qui se sont identifiés. Quelques scanners de vulnérabilités sont également apparus, dont un qui cherchait un fichier WordPress alors que le site n'utilise pas WordPress.

Le développeur a mis à jour robots.txt pour décourager la plupart des scanners IA tout en autorisant Googlebot et les autres robots de recherche, et a ajouté des limites de débit raisonnables. La principale leçon était la nécessité d'un site plus rapide et plus évolutif. Au cours des semaines suivantes, le développeur a apporté plusieurs améliorations d'infrastructure qui devraient procurer des gains de performance substantiels à tous les utilisateurs.

एक डेवलपर ने sprinklz.io बनाया, एक अनुकूलन योग्य फ़ीड रीडर जो LLM जैसे विषयों को कम प्राथमिकता दे सकता है। उन्होंने इस प्रोजेक्ट को Hacker News पर पोस्ट किया, जिसे लगभग सौ अपवोट मिले, और उपयोगकर्ताओं को AI सामग्री को फ़िल्टर करना पसंद आया, जिससे दिखा कि ऐसे टूल की उपयोगिता क्यों है।

इसके तुरंत बाद वेबसाइट बेहद धीमी हो गई। डेवलपर ने पहले सोचा कि इसका कारण अतिरिक्त ध्यान है, लेकिन पोस्ट लाइव होने के कई दिनों बाद भी धीमापन जारी रहा और और भी बढ़ गया। हर एंडपॉइंट को लॉग करने पर पता चला कि ज़्यादातर अनुरोधों ने समाचार लेखों को लाने की कोशिश ही नहीं की। चूँकि साइट एक सिंगल-पेज एप्लिकेशन है, इसलिए इनमें से अधिकांश अनुरोधों ने पेज रेंडर करने के लिए आवश्यक JavaScript चलाया तक नहीं।

NGINX लॉग से पता चला कि लगभग आधा ट्रैफ़िक एक ही उपयोगकर्ता से आया, एक ऐसी सेवा जो खुद को वेबसाइटों में बदलावों पर नज़र रखने और उन्हें AI-जनित न्यूज़लेटर में सारांशित करने वाली बताती है। यह प्रति मिनट कई बार साइट को क्वेरी कर रही थी, और डेवलपर ने उसे ब्लॉक कर दिया। कुछ अन्य स्रोत Claude, OpenAI और Google के सर्च इंडेक्सर के मानक क्रॉलर थे, जिन्होंने अपनी पहचान बताई। कुछ वल्नरेबिलिटी स्कैनर भी दिखे, जिनमें से एक WordPress फ़ाइल खोज रहा था, हालाँकि यह साइट WordPress पर नहीं चलती।

डेवलपर ने अधिकांश AI स्कैनर को हतोत्साहित करने के लिए robots.txt अपडेट किया, जबकि Googlebot और अन्य सर्च ट्रैफ़िक की अनुमति दी, और उचित रेट लिमिट जोड़ीं। मुख्य सबक यह था कि एक तेज़ और अधिक स्केलेबल साइट की ज़रूरत है। अगले कुछ हफ़्तों में डेवलपर ने कई इंफ़्रास्ट्रक्चर सुधार किए, जिनसे सभी उपयोगकर्ताओं के लिए उल्लेखनीय प्रदर्शन लाभ मिलने चाहिए।

Seorang pengembang membuat sprinklz.io, pembaca umpan yang dapat disesuaikan dan dapat menurunkan prioritas topik seperti LLM, lalu memposting proyek tersebut di Hacker News. Proyek ini mendapat sekitar seratus upvote, dan pengguna tampak menikmati penyaringan konten AI, yang menunjukkan kegunaan alat seperti ini.

Tak lama kemudian, situs web menjadi sangat lambat. Pengembang awalnya mengira perhatian tambahan itulah penyebabnya, tetapi perlambatan terus berlanjut dan bahkan memburuk beberapa hari setelah postingan dipublikasikan. Pencatatan setiap endpoint menunjukkan bahwa sebagian besar permintaan sama sekali tidak mencoba mengambil artikel berita. Karena situs ini adalah aplikasi satu halaman, sebagian besar permintaan tersebut bahkan tidak menjalankan JavaScript yang diperlukan untuk merender halaman.

Log NGINX menunjukkan bahwa hampir separuh lalu lintas berasal dari satu pengguna, yaitu layanan yang menyebut dirinya memantau perubahan situs web dan merangkumnya menjadi buletin yang dihasilkan AI. Layanan itu mengkueri situs beberapa kali per menit, dan pengembang memblokirnya. Beberapa sumber lain adalah crawler standar dari Claude, OpenAI, dan pengindeks pencarian Google, yang mengidentifikasi diri mereka. Beberapa pemindai kerentanan juga muncul, salah satunya mencari file WordPress meskipun situs ini tidak menjalankan WordPress.

Pengembang memperbarui robots.txt untuk mencegah sebagian besar pemindai AI, sambil tetap mengizinkan Googlebot dan lalu lintas pencarian lainnya, serta menambahkan batas laju yang wajar. Pelajaran utamanya adalah perlunya situs yang lebih cepat dan lebih mudah diskalakan. Selama beberapa minggu berikutnya, pengembang melakukan beberapa peningkatan infrastruktur yang seharusnya menghasilkan peningkatan kinerja yang substansial bagi semua pengguna.

開発者はsprinklz.ioを作りました。これはLLMなどのトピックの優先度を下げられる、カスタマイズ可能なフィードリーダーです。このプロジェクトをHacker Newsに投稿したところ、約100のアップボートを集め、ユーザーがAIコンテンツをフィルタリングすることを楽しんでいる様子から、このようなツールの有用性が示されました。

その直後、ウェブサイトがひどく遅くなりました。開発者は当初、注目が集まったことが原因だと考えましたが、遅延は続き、投稿から数日後にはむしろ悪化しました。すべてのエンドポイントを記録したところ、ほとんどのリクエストはニュース記事を取得しようとしていないことがわかりました。このサイトはシングルページアプリケーションのため、これらのリクエストの大半はページを描画するのに必要なJavaScriptすら実行していませんでした。

NGINXのログによると、トラフィックの約半分は1つのユーザーからのものでした。そのサービスはウェブサイトの変更を監視し、AIが生成するニュースレターにまとめると説明していました。それは毎分何度もサイトに問い合わせており、開発者はそれをブロックしました。その他のアクセス元は、Claude、OpenAI、Googleの検索インデクサーの標準的なクローラーで、いずれも自身を名乗っていました。また、いくつかの脆弱性スキャナーも現れ、そのうちの1つはサイトがWordPressを使用していないにもかかわらず、WordPressのファイルを探っていました。

開発者はrobots.txtを更新し、Googlebotなどの検索トラフィックは許可しつつ、ほとんどのAIスキャナーを排除するようにしました。また、適切なレート制限も追加しました。最大の教訓は、より高速でスケーラブルなサイトが必要だということでした。その後数週間にわたり、開発者はインフラを改善し、すべてのユーザーにとって大幅なパフォーマンス向上が期待できる状態にしました。

Um desenvolvedor criou o sprinklz.io, um leitor de feeds personalizável que pode reduzir a prioridade de tópicos como LLMs, e publicou o projeto no Hacker News. Ele recebeu cerca de cem votos positivos, e os usuários pareceram gostar de filtrar conteúdo de IA, o que mostrou a utilidade de uma ferramenta assim.

Logo depois, o site ficou dolorosamente lento. O desenvolvedor primeiro achou que a atenção extra era a culpada, mas a lentidão continuou e até piorou vários dias após a publicação. O registro de cada endpoint revelou que a maioria das requisições nunca tentou buscar artigos de notícias. Como o site é uma aplicação de página única, a maioria dessas requisições nem executava o JavaScript necessário para renderizar uma página.

Os logs do NGINX mostraram que quase metade do tráfego veio de um único usuário, um serviço que se descreve como monitor de mudanças em sites que as resume em newsletters geradas por IA. Ele consultava o site muitas vezes por minuto, e o desenvolvedor o bloqueou. Outras fontes eram rastreadores padrão da Claude, da OpenAI e do indexador de busca do Google, que se identificaram. Alguns scanners de vulnerabilidades também apareceram, um deles procurando um arquivo do WordPress, embora o site não use WordPress.

O desenvolvedor atualizou o robots.txt para desencorajar a maioria dos scanners de IA, permitindo o Googlebot e outro tráfego de busca, e adicionou limites de taxa razoáveis. A principal lição foi a necessidade de um site mais rápido e escalável. Nas semanas seguintes, o desenvolvedor fez várias melhorias de infraestrutura que devem trazer ganhos substanciais de desempenho para todos os usuários.

Разработчик создал sprinklz.io, настраиваемый агрегатор новостей, который может понижать приоритет таких тем, как LLM, и опубликовал проект на Hacker News. Он получил около ста голосов «за», и пользователям, судя по всему, понравилась фильтрация контента ИИ, что показало полезность такого инструмента.

Вскоре после этого сайт стал мучительно медленным. Сначала разработчик решил, что виной тому дополнительное внимание, но замедление продолжалось и даже усилилось через несколько дней после публикации. Журналирование всех эндпоинтов показало, что большинство запросов вовсе не пытались получить новостные статьи. Поскольку сайт является одностраничным приложением, большинство этих запросов даже не запускали JavaScript, необходимый для отрисовки страницы.

Логи NGINX показали, что почти половина трафика приходилась на одного пользователя — сервис, который описывает себя как отслеживающий изменения на сайтах и составляющий из них информационные рассылки, созданные ИИ. Он обращался к сайту несколько раз в минуту, и разработчик заблокировал его. Другими источниками были стандартные краулеры Claude, OpenAI и индексатора поиска Google, которые представились. Также появились сканеры уязвимостей, один из которых искал файл WordPress, хотя сайт не работает на WordPress.

Разработчик обновил robots.txt, чтобы отговорить большинство ИИ-сканеров, разрешив Googlebot и другой поисковый трафик, и добавил разумные ограничения скорости запросов. Главный урок заключался в необходимости более быстрого и масштабируемого сайта. В последующие недели разработчик провёл несколько улучшений инфраструктуры, которые должны дать существенный прирост производительности для всех пользователей.

一位开发者制作了sprinklz.io，这是一款可自定义的信息流阅读器，能够降低LLM等话题的优先级。他将该项目发布到Hacker News，获得了约一百个赞成票，用户似乎很喜欢过滤AI内容，这也说明了此类工具的实用性。

不久之后，网站变得异常缓慢。开发者起初以为是额外的关注导致的，但在帖子发布数天后，速度下降不仅持续，甚至更加严重。记录每个端点后发现，大多数请求根本没有尝试获取新闻文章。由于该网站是单页应用，大多数请求甚至没有运行渲染页面所需的JavaScript。

NGINX日志显示，近一半的流量来自一名用户，即一项自称会监听网站变化并将其汇总为AI生成通讯的服务。它每分钟多次查询该网站，开发者随后将其屏蔽。其他几个来源是来自Claude、OpenAI和Google搜索索引器的标准爬虫，它们均表明了自己的身份。另外还出现了一些漏洞扫描器，其中一个在探测WordPress文件，尽管该网站并未运行WordPress。

开发者更新了robots.txt，以阻止大多数AI扫描器，同时允许Googlebot和其他搜索流量，并添加了合理的速率限制。主要的教训是需要一个更快、更具可扩展性的网站。在随后的几周里，开发者进行了多项基础设施改进，这些改进应能为所有用户带来显著的性能提升。