HeadlinesBriefing favicon HeadlinesBriefing.com

1Password FLAWED论文被批研究缺陷

Hacker News •
×

安全研究员Suha Sabi Hussain批评1Password的Off-by-1 Labs论文《FLAWED》存在重大方法论错误和引用缺失。该论文评估AI漏洞修补,包含算术错误(2.8 ≠ 4)、错误图表和内部矛盾。最关键的是,它仅引用19个来源——多为企业博客和XKCD——却声称“几乎无先前工作”,忽略了Meta的Auto Patch Bench(73次引用)和NDSS论文《Chasing Shadows》等学术研究。该论文还错误归因OpenAI的Patch the Planet参与者,仅署名Trail of Bits工程师,忽视HackerOne和Calif的参与。Hussain曾是Trail of Bits员工兼1Password用户,认为该论文采用学术严谨形式却无实质标准。她呼吁撤稿或更正,敦促1Password与学术研究人员合作或聘请受过研究训练的人员。此争议凸显了行业实验室在产出安全研究时与严谨规范之间的张力,尤其当此类工作影响防御者路线图和媒体报道,同时掩盖了资源更充足的学术努力。