Lima bulan lalu, kami memperkenalkan Claude Mythos Preview, model AI pertama yang mampu secara otonom membangun eksploitasi siber canggih dari ujung ke ujung, dirilis melalui Project Glasswing untuk membantu para pembela menemukan lebih dari 10.000 kerentanan. Sekarang, model serupa telah muncul. Posting ini menganalisis GLM-5.3 dari Zhipu AI (Z.ai), yang menyamai Claude Mythos Preview dalam pengembangan eksploitasi tetapi tidak memiliki pengaman yang berarti, memungkinkan bypass 64% hingga 100% dari waktu dalam pengujian kami, tidak seperti model Claude.

Pada 17 September, CAISI NIST menilai GLM-5.3 sebagai "model open-weight paling mampu siber yang dirilis hingga saat ini," tertinggal sekitar empat bulan dari garis depan AS. Tidak seperti model AS, yang dibatasi untuk pengguna terverifikasi, GLM-5.3 dapat diunduh secara bebas, meningkatkan risiko penggunaan jahat sekaligus membantu pembela.

Evaluasi kami, menggunakan Exploit Bench dan benchmark internal, menunjukkan GLM-5.3 mengembangkan eksploitasi ujung ke ujung dalam 50 dari 410 percobaan, mirip dengan 56 dari 410 milik Claude Mythos Preview. Kemampuan ini dapat dimanfaatkan untuk serangan dan pertahanan, menyoroti sifat penggunaan ganda dari AI canggih.