Kami cukup bersemangat kemarin ketika Open AI menampilkan demo GPT-6 Astra yang bekerja pada papan sirkuit di Ki Cad di halaman depan posting peluncurannya. Sangat keren melihat elektronik muncul dalam rilis model besar seperti ini. Kami jelas masih jauh dari meminta AI untuk membangun seluruh ponsel dalam satu prompt. Namun, demo tersebut mengangkat pertanyaan yang sudah lama kami pikirkan: bagaimana kami mengukur apakah elektronik yang dihasilkan AI benar-benar bagus?

Model-model tersebut mengetahui banyak hal yang mengejutkan tentang elektronik. Pengalaman kami adalah model saat ini tahu jauh lebih banyak tentang elektronik daripada yang cenderung ditunjukkan oleh keluaran mereka di alat desain konvensional. Mereka telah membaca buku teks, lembar data, catatan aplikasi, dan banyak kode. Anda dapat membuat agen mengoperasikan alat CAD grafis, tetapi ia menghabiskan banyak waktu untuk mengklik dan melacak apa yang ada di layar. Banyak konteksnya terdiri dari koordinat, menu, dan status aplikasi. EEBench menggunakan topile sebagai gantinya. Sirkuit hidup dalam kode deklaratif, sehingga agen dapat bekerja langsung pada komponen, koneksi, dan batasan listrik. Ia dapat mengubah desain, membangunnya, menjalankan simulasi, dan memeriksa apa yang gagal tanpa meninggalkan proyek. Ini bekerja jauh lebih baik bagi kami daripada meminta model untuk menggambar garis di GUI. Ini juga berarti benchmark dapat menghabiskan lebih sedikit waktu untuk menguji penggunaan komputer dan lebih banyak waktu untuk menguji elektronik.

Dunia nyata itu rumit. Salah satu tugas publik didasarkan pada meteran energi perumahan. Ketika catu daya 5 V-nya hilang, sirkuit harus menjaga prosesor tetap hidup selama 20 ms lagi agar dapat menyimpan pembacaan yang terakumulasi. Rel yang dilindungi harus tetap di atas ambang batas brownout 3,0 V prosesor selama jendela itu. Sebagian besar model secara intuitif melompat ke kesimpulan dasar yang benar: tambahkan kapasitor. Kapasitor nyata membuat tugas lebih menarik. Komponen keramik dapat memberikan jauh lebih sedikit dari kapasitansi yang diiklankan setelah ada tegangan di atasnya. Komponen memiliki toleransi. Menambahkan lebih banyak kapasitansi membutuhkan biaya lebih, memakan ruang, dan membuat rel lebih lambat untuk diisi ulang saat daya kembali. Desain yang bekerja dengan nilai nominal dapat gagal dengan komponen yang tiba. EEBench memotong daya input dalam simulasi dan mengukur apa yang terjadi. Ia memeriksa tegangan selama pemadaman, kapasitansi efektif pada titik operasi, pemulihan setelah daya kembali, dan batas pada paket, dielektrik, peringkat tegangan, dan biaya.

Tetapi mendapatkan persamaan yang benar hanyalah bagian dari teknik elektronik. EEBench menggunakan komponen nyata dari pabrikan, dengan spesifikasi yang diekstraksi dari lembar data mereka dan dibawa ke model SPICE. Agen harus menemukan kombinasi yang bekerja di seluruh sudut toleransi tersebut sambil juga memilih komponen yang ada, dapat...