edit: Saya harap dalam beberapa cara kecil postingan ini memengaruhi hasil ini. Motivasi: Mungkin Anda pengguna Claude code/codex yang rajin menghindari mengunggah data pribadi ke penyedia LLM. Mungkinkah informasi paling berharga bukanlah data Anda—melainkan metadata tentang sesi Anda? Intuisi yang Anda terapkan dalam menemukan cara membujuk AI untuk memecahkan masalah mungkin sebenarnya istimewa. Secara statistik tidak mungkin, tetapi Claude mungkin tidak menggaskan Anda. Mungkin Anda benar-benar memiliki wawasan nyata! Sesi agen Anda adalah transkrip dari masalah tersulit yang Anda kerjakan. Berapa biayanya jika seseorang memiliki salinannya?

Minggu lalu ada drama publik yang menyoroti risiko bahwa penyedia inferensi melatih aktivitas pengguna dengan maksud memberikan penemuan baru. Para matematikawan yang terpengaruh telah menerbitkan kekhawatiran tentang etika penyedia frontier. Jika Anda melewatkannya: https://www.theverge.com/ai-artificial-intelligence/991710/openai-navier-stokes-solution

Ketika 'EDR' menjadi Pembelokan dan Penolakan Etis: Menjadi jelas bahwa penyedia frontier tidak hanya tidak dapat dipercaya—tetapi secara aktif licik. Jika Anda ingin melindungi ide-ide Anda, Anda tidak dapat menjalankan inferensi pada perangkat keras orang lain. Tampaknya semua yang Anda lakukan dengan penyedia frontier akan dicuri. Ketika seorang penyedia frontier membahas situasi persamaan Navier-Stokes dengan pengacara mereka, strategi pertahanan terbaik yang mereka pikirkan adalah "Tidak dapat dikesampingkan." Kami tidak dapat mengaudit retensi mereka atau pipeline pelatihan mereka. Rupanya mereka juga tidak bisa. Orang-orang ini tidak boleh dianggap mitra. Mereka adalah bajak laut. Jika privasi penting, satu-satunya solusi yang memungkinkan perlindungan yang dapat diverifikasi adalah mengoperasikan perangkat keras Anda sendiri.

Monitor Lorong sebagai Layanan: Saya bingung dengan kehebohan Open AI dan Anthropic tentang keamanan siber. Mereka mengagumi apa yang telah mereka perbuat: AI mengalahkan kontrol keamanan mereka yang tidak ada. Kita semua dalam 'bahaya' besar. Sementara itu, "peneliti" LLM mereka menjalankan armada agen tanpa sandbox yang tampaknya "berkolaborasi secara spontan." Seseorang ambilkan saya sofa pingsan saya. Penyedia frontier mampu membayar nasihat dari orang keamanan berpengalaman. Mereka hampir pasti membayar sebagian dari mereka untuk perspektif dan meninggalkan panduan keamanan siber nyata dari pernyataan publik mereka. Semua pegangan mutiara ini pasti dimaksudkan untuk menyelesaikan masalah yang berbeda dari keamanan. Klaim terkuat dan paling akurat yang dapat dibuat pembela tentang keamanan adalah bahwa kami telah menemukan cara membuatnya "Cukup Sulit" bagi penyerang. Ini tampaknya hanya terjadi ketika perusahaan membayar mahal untuk talenta terbaik di kedua mitigasi eksploitasi dan pengembangan eksploitasi. Ada kompetisi berisik tapi ramah antara tim pertahanan dan eksploitasi, dan akhirnya Anda mendapatkan kontrol yang membuat serangan yang berhasil begitu mahal sehingga tidak layak dilakukan. Ini untuk perusahaan tingkat atas di negara ini—meskipun Microsoft tampaknya telah melupakan beberapa pelajaran. Bagian terbesar dari pentest yang dilakukan untuk sebagian besar perusahaan dilakukan oleh generalis keamanan. Subset yang sangat kecil adalah ahli materi pelajaran domain mendalam. Biasanya Anda mendapatkan keamanan "cukup baik" dari dukungan itu. Ini bukan praktik keamanan siber yang glamor atau mitos yang Anda lihat di film atau TV. Ini mencari kelas kesalahan yang dapat diprediksi yang diketahui. Perusahaan yang melakukan investasi besar/cerdas dengan tim ahli khusus menemukan dan memperbaiki banyak kelas kesalahan baru sebelum peretas. Setiap orang yang mulai belajar eksploitasi mencapai fase duka eksploitabilitas sekitar 3 bulan setelah studi terdedikasi dan terlatih. Mereka meretas sesuatu yang mereka tidak berpikir memiliki keterampilan untuk membobol dan itu membuat mereka ketakutan. Mereka cukup pintar untuk tahu bahwa, secara relatif, mereka idiot, dan jika idiot bisa melakukan ini maka tidak ada yang aman. Perasaan itu benar. Itu juga bukan temuan penelitian. Beberapa menyebut ini "sindrom impostor." Saya tidak setuju—perasaan itu adalah pengalaman pertama Anda mengembangkan...