HeadlinesBriefing favicon HeadlinesBriefing.com

FLAWED paper от 1Password раскритикован за ошибки

Hacker News •
×

Исследователь безопасности Suha Sabi Hussain критикует paper Off-by-1 Labs от 1Password под названием 'FLAWED' из-за значительных методологических ошибок и сбоев в цитировании. Этот paper, который оценивает патчинг уязвимостей ИИ, содержит арифметические ошибки (2.8 ≠ 4), неверные диаграммы и внутренние противоречия. Критически важно, что он цитирует только 19 источников — в основном корпоративные блоги и XKCD — при этом утверждает, что 'мало предыдущих работ', игнорируя академические исследования, такие как Auto Patch Bench от Meta (73 цитаты) и paper NDSS 'Chasing Shadows'. Также paper некорректно приписывает участников OpenAI's Patch the Planet, отдавая credit только инженерам Trail of Bits, несмотря на участие HackerOne и Calif. Hussain, бывший сотрудник Trail of Bits и пользователь 1Password, утверждает, что paper принимает форму академической строгости, но не соответствует её стандартам. Она призывает к отмене или исправлению, призывая 1Password сотрудничать с академическими исследователями или нанимать персонал, подготовленный по исследовательской части. Спор подчеркивает напряжение между промышленными лабораториями, производящими исследования безопасности, и соблюдением строгих норм, особенно когда такие работы влияют на roadmaps defenders и медиа-освещение, затмевая лучше ресурсированные академические усилия.