Nous étions assez excités hier lorsque Open AI a mis une démo de GPT-6 Astra travaillant sur une carte de circuit imprimé dans Ki Cad en première page de son post de lancement. C'est cool de voir l'électronique apparaître dans une sortie de modèle majeure comme celle-ci. Nous sommes évidemment encore loin de demander à une IA de construire un téléphone entier en une seule invite. La démo soulève cependant une question que nous nous posons depuis un certain temps : comment mesurons-nous si l'électronique produite par une IA est réellement bonne ?

Les modèles en savent étonnamment beaucoup sur l'électronique. Notre expérience est que les modèles actuels en savent beaucoup plus sur l'électronique que ce que leur sortie dans les outils de conception conventionnels tend à montrer. Ils ont lu des manuels, des fiches techniques, des notes d'application et beaucoup de code. Vous pouvez faire fonctionner un agent avec un outil CAD graphique, mais il passe beaucoup de temps à cliquer et à suivre ce qui est à l'écran. Une grande partie de son contexte se compose de coordonnées, de menus et de l'état de l'application. EEBench utilise plutôt un topile. Le circuit vit dans un code déclaratif, donc l'agent peut travailler directement sur les composants, les connexions et les contraintes électriques. Il peut modifier la conception, la construire, exécuter une simulation et inspecter ce qui a échoué sans quitter le projet. Cela a bien mieux fonctionné pour nous que de demander à un modèle de dessiner des lignes dans une interface graphique. Cela signifie également que le benchmark peut passer moins de temps à tester l'utilisation de l'ordinateur et plus de temps à tester l'électronique.

Le monde réel est désordonné. L'une des tâches publiques est basée sur un compteur d'énergie résidentiel. Lorsque son alimentation de 5 V disparaît, le circuit doit maintenir le processeur en vie pendant encore 20 ms afin qu'il puisse enregistrer la lecture accumulée. Le rail protégé doit rester au-dessus du seuil de chute de tension de 3,0 V du processeur pendant cette fenêtre. La plupart des modèles sautent intuitivement à la conclusion de base correcte : ajouter un condensateur. Un vrai condensateur rend la tâche plus intéressante. Une pièce en céramique peut fournir beaucoup moins que sa capacité annoncée une fois qu'elle a une tension à ses bornes. Les pièces ont des tolérances. Ajouter plus de capacité coûte plus cher, prend de la place et rend le rail plus lent à se recharger lorsque l'alimentation revient. Une conception qui fonctionne avec des valeurs nominales peut échouer avec les pièces qui arrivent. EEBench coupe l'alimentation d'entrée en simulation et mesure ce qui se passe. Il vérifie la tension pendant toute la panne, la capacité effective au point de fonctionnement, la récupération après le retour de l'alimentation et les limites de boîtier, de diélectrique, de tension nominale et de coût.

Mais obtenir les équations correctes n'est qu'une partie de l'ingénierie électronique. EEBench utilise de vraies pièces de fabricants, avec des spécifications extraites de leurs fiches techniques et reportées dans le modèle SPICE. L'agent doit trouver une combinaison qui fonctionne à travers ces coins de tolérance tout en choisissant des pièces qui existent, peuvent être...