Nos emocionamos bastante ayer cuando Open AI puso una demostración de GPT-6 Astra trabajando en una placa de circuito en Ki Cad en la portada de su publicación de lanzamiento. Es genial ver que la electrónica aparece en un lanzamiento de modelo importante como este. Obviamente, todavía estamos lejos de pedirle a una IA que construya un teléfono completo en un solo prompt. La demostración plantea una pregunta que hemos estado considerando durante un tiempo: ¿cómo medimos si la electrónica que produce una IA es realmente buena?

Los modelos saben una cantidad sorprendente sobre electrónica. Nuestra experiencia es que los modelos actuales saben mucho más sobre electrónica de lo que su producción en herramientas de diseño convencionales tiende a mostrar. Han leído libros de texto, hojas de datos, notas de aplicación y mucho código. Puedes hacer que un agente opere una herramienta CAD gráfica, pero pasa mucho tiempo haciendo clic y rastreando lo que está en pantalla. Gran parte de su contexto consiste en coordenadas, menús y estado de la aplicación. EEBench usa un topilo en su lugar. El circuito vive en código declarativo, por lo que el agente puede trabajar directamente en componentes, conexiones y restricciones eléctricas. Puede cambiar el diseño, construirlo, ejecutar una simulación e inspeccionar lo que falló sin salir del proyecto. Esto ha funcionado mucho mejor para nosotros que pedirle a un modelo que dibuje líneas en una GUI. También significa que el benchmark puede pasar menos tiempo probando el uso de computadora y más tiempo probando electrónica.

El mundo real es desordenado. Una de las tareas públicas se basa en un medidor de energía residencial. Cuando su suministro de 5 V desaparece, el circuito debe mantener vivo el procesador durante otros 20 ms para que pueda guardar la lectura acumulada. El riel protegido debe permanecer por encima del umbral de caída de voltaje de 3.0 V del procesador durante esa ventana. La mayoría de los modelos saltan intuitivamente a la conclusión base correcta: agregar un capacitor. Un capacitor real hace la tarea más interesante. Una pieza cerámica puede proporcionar mucho menos que su capacitancia anunciada una vez que tiene voltaje a través de ella. Las piezas tienen tolerancias. Agregar más capacitancia cuesta más, ocupa espacio y hace que el riel sea más lento para recargarse cuando vuelve la energía. Un diseño que funciona con valores nominales puede fallar con las piezas que llegan. EEBench corta la energía de entrada en simulación y mide lo que sucede. Verifica el voltaje durante toda la interrupción, la capacitancia efectiva en el punto de operación, la recuperación después de que vuelve la energía y los límites de paquete, dieléctrico, voltaje nominal y costo.

Pero obtener las ecuaciones correctas es solo parte de la ingeniería electrónica. EEBench usa piezas reales de fabricantes, con especificaciones extraídas de sus hojas de datos y llevadas al modelo SPICE. El agente tiene que encontrar una combinación que funcione en esos rincones de tolerancia mientras también elige piezas que existen, pueden ser...