Вчера мы были очень взволнованы, когда Open AI разместила демонстрацию GPT-6 Astra, работающего над печатной платой в Ki Cad, на первой странице своего анонса. Приятно видеть, что электроника появляется в таком крупном релизе модели. Очевидно, мы всё ещё далеки от того, чтобы попросить ИИ собрать целый телефон одним запросом. Однако демонстрация поднимает вопрос, над которым мы думали некоторое время: как мы измеряем, действительно ли электроника, созданная ИИ, хороша?

Модели знают удивительно много об электронике. Наш опыт показывает, что современные модели знают об электронике гораздо больше, чем обычно показывает их вывод в традиционных инструментах проектирования. Они читали учебники, технические описания, примечания по применению и много кода. Вы можете заставить агента работать с графическим CAD-инструментом, но он тратит много времени на клики и отслеживание того, что на экране. Большая часть его контекста состоит из координат, меню и состояния приложения. EEBench вместо этого использует топайл. Схема живёт в декларативном коде, поэтому агент может работать непосредственно с компонентами, соединениями и электрическими ограничениями. Он может изменить проект, собрать его, запустить симуляцию и проверить, что не удалось, не покидая проект. Это сработало для нас гораздо лучше, чем просить модель рисовать линии в графическом интерфейсе. Это также означает, что бенчмарк может тратить меньше времени на тестирование использования компьютера и больше времени на тестирование электроники.

Реальный мир сложен. Одна из публичных задач основана на бытовом счётчике энергии. Когда его питание 5 В исчезает, схема должна поддерживать процессор в живых ещё 20 мс, чтобы он мог сохранить накопленные показания. Защищённая шина должна оставаться выше порога сбоя питания процессора 3,0 В в течение этого окна. Большинство моделей интуитивно приходят к правильному базовому выводу: добавить конденсатор. Настоящий конденсатор делает задачу более интересной. Керамический компонент может обеспечивать гораздо меньше, чем заявленная ёмкость, когда на нём есть напряжение. Компоненты имеют допуски. Добавление большей ёмкости стоит дороже, занимает место и делает шину медленнее при перезарядке после возврата питания. Проект, работающий с номинальными значениями, может выйти из строя с реально пришедшими компонентами. EEBench отключает входное питание в симуляции и измеряет, что происходит. Он проверяет напряжение во время всего сбоя, эффективную ёмкость в рабочей точке, восстановление после возврата питания и ограничения по корпусу, диэлектрику, номинальному напряжению и стоимости.

Но правильные уравнения — это лишь часть электронной инженерии. EEBench использует реальные компоненты производителей, характеристики которых извлекаются из их технических описаний и переносятся в модель SPICE. Агент должен найти комбинацию, которая работает в этих углах допусков, выбирая при этом компоненты, которые существуют, могут быть...