Wir waren gestern ziemlich aufgeregt, als Open AI eine Demo von GPT-6 Astra, das an einer Leiterplatte in Ki Cad arbeitet, auf der Titelseite seines Launch-Posts platzierte. Es ist cool zu sehen, dass Elektronik in einer so wichtigen Modellveröffentlichung auftaucht. Wir sind offensichtlich noch weit davon entfernt, eine KI zu bitten, ein ganzes Telefon in einem einzigen Prompt zu bauen. Die Demo wirft jedoch eine Frage auf, über die wir schon eine Weile nachdenken: Wie messen wir, ob die Elektronik, die eine KI produziert, tatsächlich gut ist?

Die Modelle wissen erstaunlich viel über Elektronik. Unsere Erfahrung ist, dass aktuelle Modelle viel mehr über Elektronik wissen, als ihre Ausgabe in herkömmlichen Design-Tools tendenziell zeigt. Sie haben Lehrbücher, Datenblätter, Applikationshinweise und viel Code gelesen. Sie können einen Agenten ein grafisches CAD-Tool bedienen lassen, aber es verbringt viel Zeit mit Klicken und Verfolgen, was auf dem Bildschirm ist. Ein Großteil seines Kontexts besteht aus Koordinaten, Menüs und Anwendungszustand. EEBench verwendet stattdessen ein Topile. Die Schaltung lebt in deklarativem Code, sodass der Agent direkt an Komponenten, Verbindungen und elektrischen Einschränkungen arbeiten kann. Er kann das Design ändern, es bauen, eine Simulation ausführen und prüfen, was fehlgeschlagen ist, ohne das Projekt zu verlassen. Das hat für uns viel besser funktioniert, als ein Modell zu bitten, Linien in einer GUI zu zeichnen. Es bedeutet auch, dass der Benchmark weniger Zeit für das Testen der Computernutzung und mehr Zeit für das Testen von Elektronik aufwenden kann.

Die reale Welt ist chaotisch. Eine der öffentlichen Aufgaben basiert auf einem Haushaltsenergiezähler. Wenn seine 5-V-Versorgung verschwindet, muss die Schaltung den Prozessor weitere 20 ms am Leben halten, damit er den akkumulierten Messwert speichern kann. Die geschützte Schiene muss während dieses Fensters über der Brownout-Schwelle von 3,0 V des Prozessors bleiben. Die meisten Modelle springen intuitiv zur richtigen Grundschlussfolgerung: einen Kondensator hinzufügen. Ein echter Kondensator macht die Aufgabe interessanter. Ein Keramikteil kann viel weniger als seine angegebene Kapazität liefern, sobald Spannung darüber anliegt. Teile haben Toleranzen. Mehr Kapazität kostet mehr, nimmt Platz ein und macht die Schiene langsamer beim Aufladen, wenn die Energie zurückkehrt. Ein Design, das mit Nennwerten funktioniert, kann mit den ankommenden Teilen fehlschlagen. EEBench unterbricht die Eingangsleistung in der Simulation und misst, was passiert. Es prüft die Spannung während des gesamten Ausfalls, die effektive Kapazität am Arbeitspunkt, die Erholung nach der Rückkehr der Energie und die Grenzen für Gehäuse, Dielektrikum, Nennspannung und Kosten.

Aber die Gleichungen richtig zu bekommen, ist nur ein Teil der Elektronikentwicklung. EEBench verwendet echte Herstellerteile, deren Spezifikationen aus ihren Datenblättern extrahiert und in das SPICE-Modell übernommen werden. Der Agent muss eine Kombination finden, die über diese Toleranz-Ecken funktioniert, während er auch Teile auswählt, die existieren, können...