HeadlinesBriefing favicon HeadlinesBriefing.com

Paper FLAWED de 1Password criticado por fallos

Hacker News •
×

El investigador de seguridad Suha Sabi Hussain critica el paper de Off-by-1 Labs de 1Password titulado 'FLAWED' por errores metodológicos significativos y fallos en las citaciones. El paper, que evalúa la parcheo de vulnerabilidades IA, contiene errores aritméticos (2.8 ≠ 4), diagramas incorrectos y contradicciones internas. Críticamente, cita solo 19 fuentes — principalmente blogs corporativos y XKCD — mientras afirma que existe 'muy poco trabajo previo', ignorando investigaciones académicas como Auto Patch Bench de Meta (73 citaciones) y el paper NDSS 'Chasing Shadows'.

Además, el paper atribuye incorrectamente a los participantes de Patch the Planet de OpenAI, reconociendo solo a ingenieros de Trail of Bits a pesar de la participación de HackerOne y Calif. Hussain, exempleado de Trail of Bits y usuario de 1Password, argumenta que el paper adopta la forma de rigor académico sin sus estándares. Llama a la retracción o corrección, instando a 1Password a colaborar con investigadores académicos o contratar personal con formación en investigación.

La controversia resalta la tensión entre laboratorios industriales que producen investigaciones de seguridad y el mantenimiento de normas rigurosas, especialmente cuando dichos trabajos influyen en hojas de ruta de defensa y cobertura mediática, opacando esfuerzos académicos mejor dotados.