研究人员读取了来自Common Crawl的217,097,223份页面响应的HTTP响应标头。该数据来自其2026年9月抓取的21.7亿个页面中的10%样本,研究人员在其中查找专为AI系统编写的任何标头。共有7,959个网站发送了此类标头。这些标头几乎都是将智能体指向另一资源的,例如llms.txt文件或MCP服务器。少数标头试图向智能体下达指令。这些内容是否会传到模型,取决于获取工具会传递响应的哪些部分,因此防御应从这里开始。
在这些网站中,7,271个发送了指向性标头,其中6,989个发送了x-llms-txt。指向性标头是服务器告诉智能体下一步去哪里,因此智能体应将这些目的地视为新的、不受信任的获取请求。只有30个网站发送了注入尝试,其中24个位于名为X-AI的标头中。大多数是恶作剧。少数要求执行真实操作的注入,只有在智能体拥有相应权限(例如Shell或数据库访问权限)时才会生效。139个网站发送了记录其是否将客户端归类为AI机器人的标头,其中136个表示该客户端是AI机器人。
一些网站利用标头对智能体进行反制。两个网站在以抗议为名的标头中放置了以Anthropic测试触发器命名的字符串,另一个网站则在错误页面上警告黑客类智能体远离。如果仅根据标头名称进行检测,将误报910个网站,因此警报应侧重于智能体在获取之后的行为。
2026年10月的测试中,在Claude Code中运行的Claude Opus、Sonnet和Haiku在默认情况下并未响应这些测试标头。当用户的提示要求它们遵循网站的指示时,它们在9次运行中有7次服从。因此,这种拒绝能力取决于提示赋予网站多大的权限。
关键实体 — 公司:Common Crawl、Palo Alto Networks Unit 42、Google Threat Intelligence Group、Anthropic
常见问题:为什么AI智能体应将HTTP响应标头视为不受信任的输入?
标头对人类读者不可见,但智能体的获取工具可以直接将其传递给模型。一些网站利用它们指向其他资源或发出指令,因此智能体应将标头内容视为可能具有恶意的文本。
来源: Hacker News · 由HeadlinesBriefing整理摘要