Seorang pengembang membuat sprinklz.io, pembaca umpan yang dapat disesuaikan dan dapat menurunkan prioritas topik seperti LLM, lalu memposting proyek tersebut di Hacker News. Proyek ini mendapat sekitar seratus upvote, dan pengguna tampak menikmati penyaringan konten AI, yang menunjukkan kegunaan alat seperti ini.
Tak lama kemudian, situs web menjadi sangat lambat. Pengembang awalnya mengira perhatian tambahan itulah penyebabnya, tetapi perlambatan terus berlanjut dan bahkan memburuk beberapa hari setelah postingan dipublikasikan. Pencatatan setiap endpoint menunjukkan bahwa sebagian besar permintaan sama sekali tidak mencoba mengambil artikel berita. Karena situs ini adalah aplikasi satu halaman, sebagian besar permintaan tersebut bahkan tidak menjalankan JavaScript yang diperlukan untuk merender halaman.
Log NGINX menunjukkan bahwa hampir separuh lalu lintas berasal dari satu pengguna, yaitu layanan yang menyebut dirinya memantau perubahan situs web dan merangkumnya menjadi buletin yang dihasilkan AI. Layanan itu mengkueri situs beberapa kali per menit, dan pengembang memblokirnya. Beberapa sumber lain adalah crawler standar dari Claude, OpenAI, dan pengindeks pencarian Google, yang mengidentifikasi diri mereka. Beberapa pemindai kerentanan juga muncul, salah satunya mencari file WordPress meskipun situs ini tidak menjalankan WordPress.
Pengembang memperbarui robots.txt untuk mencegah sebagian besar pemindai AI, sambil tetap mengizinkan Googlebot dan lalu lintas pencarian lainnya, serta menambahkan batas laju yang wajar. Pelajaran utamanya adalah perlunya situs yang lebih cepat dan lebih mudah diskalakan. Selama beberapa minggu berikutnya, pengembang melakukan beberapa peningkatan infrastruktur yang seharusnya menghasilkan peningkatan kinerja yang substansial bagi semua pengguna.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing