গবেষকরা Common Crawl থেকে ২,১৭,০৯,৭২২৩টি পৃষ্ঠা প্রতিক্রিয়ার HTTP প্রতিক্রিয়া হেডার পড়েছেন। এটি ২০২৬ সালের সেপ্টেম্বরের ২১.৭ কোটি পৃষ্ঠার ক্রলের ১০% নমুনা, এবং তারা AI সিস্টেমের জন্য লেখা যেকোনো হেডার খুঁজেছেন। ৭,৯৫৯টি সাইট একটি পাঠিয়েছে। প্রায় সবগুলোই এজেন্টকে অন্য কোনো সম্পদের দিকে নির্দেশ করে, যেমন llms.txt ফাইল বা MCP সার্ভার। অল্প কয়েকটি এজেন্টকে নির্দেশ দিতে চেষ্টা করে। এর কোনোটি মডেলে পৌঁছায় কিনা, তা নির্ভর করে ফেচ টুল প্রতিক্রিয়ার কোন অংশ পাস করে তার উপর, তাই প্রতিরক্ষা সেখান থেকেই শুরু হয়।
এসব সাইটের মধ্যে ৭,২৭১টি পয়েন্টার পাঠিয়েছে এবং তাদের মধ্যে ৬,৯৮৯টি x-llms-txt পাঠিয়েছে। পয়েন্টার হলো সার্ভারের এমন বার্তা যা এজেন্টকে জানায় পরবর্তীতে কোথায় যেতে হবে, তাই এজেন্টদের উচিত এই গন্তব্যগুলোকে নতুন, অবিশ্বস্ত ফেচ হিসেবে বিবেচনা করা। মাত্র ৩০টি সাইট ইনজেকশনের চেষ্টা পাঠিয়েছে, যার মধ্যে ২৪টি X-AI নামের হেডারে ছিল। বেশিরভাগই ছিল কৌতুক। যে কয়েকটি বাস্তব কাজ চায়, সেগুলো তখনই কাজ করে যখন এজেন্টের সংশ্লিষ্ট ক্ষমতা থাকে, যেমন শেল বা ডেটাবেস অ্যাক্সেস। ১৩৯টি সাইট এমন একটি হেডার পাঠিয়েছে যেখানে লেখা আছে তারা ক্লায়েন্টকে AI বট হিসেবে শ্রেণিবদ্ধ করেছে কিনা, এবং ১৩৬টি বলেছে এটি একটি AI বট।
কিছু সাইট হেডার ব্যবহার করে এজেন্টদের প্রতিরোধ করে। দুটি সাইট প্রতিবাদমূলক নামের হেডারে Anthropic-এর পরীক্ষামূলক ট্রিগারের নামে স্ট্রিং রেখেছে, এবং একটি সাইট তার ত্রুটি পৃষ্ঠায় হ্যাকিং এজেন্টদের দূরে থাকতে সতর্ক করে। যদি শুধু হেডারের নাম মিলিয়ে সনাক্তকারী ব্যবহার করা হতো, তবে ভুলভাবে ৯১০টি সাইট চিহ্নিত হতো, তাই সতর্কতা ফেচের পর এজেন্ট কী করে তার উপর কেন্দ্রীভূত হওয়া উচিত।
অক্টোবর ২০২৬ সালের পরীক্ষায়, Claude Code-এ চালানো Claude Opus, Sonnet ও Haiku ডিফল্টভাবে পরীক্ষার হেডারের ভিত্তিতে কাজ করেনি। ব্যবহারকারীর প্রম্পট যখন তাদের কোনো সাইটের নির্দেশনা মানতে বলেছে, তখন ৯টি রানের মধ্যে ৭টিতে তারা মেনেছে। সুতরাং প্রত্যাখ্যান নির্ভর করে প্রম্পট সাইটকে কতটা কর্তৃত্ব দেয় তার উপর।
মূল সত্তা — কোম্পানি: Common Crawl, Palo Alto Networks Unit 42, Google Threat Intelligence Group, Anthropic
প্রায়শ জিজ্ঞাসিত প্রশ্ন: AI এজেন্টদের কেন HTTP প্রতিক্রিয়া হেডারকে অবিশ্বস্ত ইনপুট হিসেবে বিবেচনা করা উচিত?
হেডার মানব পাঠকদের কাছে অদৃশ্য, কিন্তু এজেন্টের ফেচ টুল সেগুলো সরাসরি মডেলে পাঠাতে পারে। কিছু সাইট এগুলো ব্যবহার করে এজেন্টদের অন্য সম্পদের দিকে নির্দেশ করতে বা নির্দেশ দিতে, তাই এজেন্টদের হেডারের বিষয়বস্তুকে সম্ভাব্য বিদ্বেষপূর্ণ পাঠ্য হিসেবে গণ্য করা উচিত।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing