Pada Januari 2025, penulis menguji apakah LLM dapat memperbaiki kode secara iteratif dengan meminta ulang 'tulis kode yang lebih baik'. Meskipun Claude Sonnet 3.5 menambahkan fitur daripada mengoptimalkan, hipotesis berkembang: apakah LLM agentik dapat menulis kode Rust performa tinggi, yang dijembaitkan ke Python melalui PyO3, melebihi perpustakaan yang sudah ada? Setelah berbulan-bulan pengujian dengan Claude Opus 4.5 dan model frontier selanjutnya, penulis mengonfirmasi bahwa agen modern dapat menghasilkan implementasi Rust 2x-20x lebih cepat daripada pendekatan terkini, asalkan proper guardrails diberikan (misalnya, melarang kode `unsafe`, menggunakan criterion untuk benchmarking statistik).

Kasus pengujian utama adalah UMAP, sebuah algoritma reduksi dimensi yang tidak mendukung skala baik di Python. Alih-alih membuat fork dari crates yang sudah ada seperti `umap-rs`, agen menulis algoritma dari nol dengan dependensi minimal untuk mengaktifkan optimasi tingkat rendah. Opus 4.5 menghasilkan benchmark pada berbagai ukuran input, memperbaiki secara iteratif implementasinya berdasarkan output criterion.

Pendekatan 'benchmaxxing' ini memanfaatkan keamanan memori Rust dan potensi kompilasi WASM. Penulis menekankan bahwa ini bukan spekulatif: prompt dan hasil benchmark disertakan, menunjukkan bahwa optimasi agentik iteratif kini menghasilkan kode sistem berkualitas produksi, performa tinggi.

Pertanyaan