एक डेवलपर ने sprinklz.io बनाया, एक अनुकूलन योग्य फ़ीड रीडर जो LLM जैसे विषयों को कम प्राथमिकता दे सकता है। उन्होंने इस प्रोजेक्ट को Hacker News पर पोस्ट किया, जिसे लगभग सौ अपवोट मिले, और उपयोगकर्ताओं को AI सामग्री को फ़िल्टर करना पसंद आया, जिससे दिखा कि ऐसे टूल की उपयोगिता क्यों है।
इसके तुरंत बाद वेबसाइट बेहद धीमी हो गई। डेवलपर ने पहले सोचा कि इसका कारण अतिरिक्त ध्यान है, लेकिन पोस्ट लाइव होने के कई दिनों बाद भी धीमापन जारी रहा और और भी बढ़ गया। हर एंडपॉइंट को लॉग करने पर पता चला कि ज़्यादातर अनुरोधों ने समाचार लेखों को लाने की कोशिश ही नहीं की। चूँकि साइट एक सिंगल-पेज एप्लिकेशन है, इसलिए इनमें से अधिकांश अनुरोधों ने पेज रेंडर करने के लिए आवश्यक JavaScript चलाया तक नहीं।
NGINX लॉग से पता चला कि लगभग आधा ट्रैफ़िक एक ही उपयोगकर्ता से आया, एक ऐसी सेवा जो खुद को वेबसाइटों में बदलावों पर नज़र रखने और उन्हें AI-जनित न्यूज़लेटर में सारांशित करने वाली बताती है। यह प्रति मिनट कई बार साइट को क्वेरी कर रही थी, और डेवलपर ने उसे ब्लॉक कर दिया। कुछ अन्य स्रोत Claude, OpenAI और Google के सर्च इंडेक्सर के मानक क्रॉलर थे, जिन्होंने अपनी पहचान बताई। कुछ वल्नरेबिलिटी स्कैनर भी दिखे, जिनमें से एक WordPress फ़ाइल खोज रहा था, हालाँकि यह साइट WordPress पर नहीं चलती।
डेवलपर ने अधिकांश AI स्कैनर को हतोत्साहित करने के लिए robots.txt अपडेट किया, जबकि Googlebot और अन्य सर्च ट्रैफ़िक की अनुमति दी, और उचित रेट लिमिट जोड़ीं। मुख्य सबक यह था कि एक तेज़ और अधिक स्केलेबल साइट की ज़रूरत है। अगले कुछ हफ़्तों में डेवलपर ने कई इंफ़्रास्ट्रक्चर सुधार किए, जिनसे सभी उपयोगकर्ताओं के लिए उल्लेखनीय प्रदर्शन लाभ मिलने चाहिए।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित