HeadlinesBriefing favicon HeadlinesBriefing.com

Paper FLAWED 1Password dikritik karena cacat

Hacker News •
×

Peneliti keamanan Suha Sabi Hussain mengkritik paper Off-by-1 Labs dari 1Password berjudul 'FLAWED' karena kesalahan metodologi signifikan dan kegagalan kutipan. Paper, yang mengevaluasi patching kerentanan AI, mengandung kesalahan aritmetika (2.8 ≠ 4), diagram yang salah, dan inkonsistensi internal. Paling kritikal, ia hanya mengutip 19 sumber — terutama blog perusahaan dan XKCD — sementara mengklaim 'sedikit pekerjaan sebelumnya', mengabaikan penelitian akademis seperti Auto Patch Bench dari Meta (73 kutipan) dan paper NDSS 'Chasing Shadows'.

Paper juga salah mengaitkan peserta OpenAI's Patch the Planet, mengakui hanya insinyur Trail of Bits meskippartisipasi HackerOne dan Calif. Hussain, mantan kTrail of Bits dan pengguna 1Password, berargumen bahwa paper mengambil bentuk ketat akademis tanpa standarnya. Ia meminta retraksi atau koreksi, meminta 1Password berkolaborasi dengan peneliti akademis atau mempekerjakan staf terlatih penelitian.

Kontroversi ini menekankan ketegangan antara laboratorium industri menghasilkan penelitian keamanan dan mempertahankan norma ketat, terutama ketika pekerjaan ini mempengaruhi roadmaps defender dan cakupan media sementara mengaburkan upaya akademis lebih bermodal.