शोधकर्ताओं ने Common Crawl से 217,097,223 पेज प्रतिक्रियाओं के HTTP प्रतिक्रिया हेडर पढ़े। यह सितंबर 2026 के उसके 21.7 करोड़ पेज के क्रॉल का 10% नमूना था, और उन्होंने ऐसे किसी भी हेडर की खोज की जो AI सिस्टम के लिए लिखा गया हो। 7,959 साइटों ने ऐसा एक हेडर भेजा। लगभग सभी एजेंटों को किसी दूसरे संसाधन की ओर इंगित करते हैं, जैसे llms.txt फ़ाइल या MCP सर्वर। कुछ थोड़ी संख्या में एजेंट को निर्देश देने का प्रयास करती हैं। यह सामग्री किसी मॉडल तक पहुँचती है या नहीं, यह इस पर निर्भर करता है कि फ़ेच टूल प्रतिक्रिया का कौन-सा हिस्सा आगे भेजता है, इसलिए बचाव वहीं से शुरू होता है।
इन साइटों में से 7,271 ने पॉइंटर भेजे, और उनमें से 6,989 ने x-llms-txt भेजा। पॉइंटर सर्वर का वह संकेत है जो एजेंट को बताता है कि अगला कदम कहाँ उठाना है, इसलिए एजेंटों को इन गंतव्यों को नए, अविश्वसनीय फ़ेच के रूप में देखना चाहिए। केवल 30 साइटों ने इंजेक्शन के प्रयास भेजे, जिनमें से 24 X-AI नाम के हेडर में थे। अधिकांश मज़ाक थे। जो कुछ वास्तविक कार्रवाई माँगते हैं, वे तभी काम करते हैं जब एजेंट के पास संबंधित शक्ति हो, जैसे शेल या डेटाबेस एक्सेस। 139 साइटों ने एक हेडर भेजा जिसमें दर्ज था कि उन्होंने क्लाइंट को AI बॉट के रूप में वर्गीकृत किया है या नहीं, और 136 ने कहा कि वह AI बॉट था।
कुछ साइटें हेडर के ज़रिए एजेंटों को पीछे धकेलती हैं। दो ने विरोध दर्शाने वाले नामों वाले हेडर में Anthropic के परीक्षण ट्रिगर के नाम पर स्ट्रिंग रखीं, और एक अपने एरर पेजों पर हैकिंग एजेंटों को दूर रहने की चेतावनी देती है। यदि डिटेक्टर केवल हेडर नामों पर मिलान करता, तो उसने गलती से 910 साइटों को चिह्नित कर दिया होता, इसलिए अलर्ट इस पर केंद्रित होने चाहिए कि फ़ेच के बाद एजेंट क्या करता है।
अक्टूबर 2026 के परीक्षणों में, Claude Code में चल रहे Claude Opus, Sonnet और Haiku ने डिफ़ॉल्ट रूप से परीक्षण हेडर पर कार्य नहीं किया। जब उपयोगकर्ता के प्रॉम्प्ट ने उन्हें किसी साइट के निर्देशों का पालन करने को कहा, तो उन्होंने 9 में से 7 रन में आज्ञा मानी। इसलिए इनकार इस पर निर्भर करता है कि प्रॉम्प्ट किसी साइट को कितना अधिकार देते हैं।
प्रमुख इकाइयाँ — कंपनियाँ: Common Crawl, Palo Alto Networks Unit 42, Google Threat Intelligence Group, Anthropic
अक्सर पूछे जाने वाले प्रश्न: AI एजेंटों को HTTP प्रतिक्रिया हेडर को अविश्वसनीय इनपुट क्यों मानना चाहिए?
हेडर मानव पाठकों को दिखाई नहीं देते, लेकिन एजेंट के फ़ेच टूल उन्हें सीधे मॉडल तक पहुँचा सकते हैं। कुछ साइटें इनका उपयोग एजेंटों को अन्य संसाधनों की ओर भेजने या निर्देश देने के लिए करती हैं, इसलिए एजेंटों को हेडर की सामग्री को संभावित रूप से दुर्भावनापूर्ण पाठ मानना चाहिए।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित