Ficamos bem animados ontem quando a Open AI colocou uma demonstração do GPT-6 Astra trabalhando em uma placa de circuito no Ki Cad na primeira página do seu post de lançamento. É legal ver a eletrônica aparecer em um lançamento de modelo importante como este. Obviamente, ainda estamos a alguma distância de pedir a uma IA para construir um telefone inteiro em um único prompt. A demonstração levanta uma questão que vínhamos pensando há um tempo: como medimos se a eletrônica que uma IA produz é realmente boa?

Os modelos sabem uma quantidade surpreendente sobre eletrônica. Nossa experiência é que os modelos atuais sabem muito mais sobre eletrônica do que sua saída em ferramentas de design convencionais tende a mostrar. Eles leram livros didáticos, folhas de dados, notas de aplicação e muito código. Você pode fazer um agente operar uma ferramenta CAD gráfica, mas ele gasta muito tempo clicando e rastreando o que está na tela. Muito do seu contexto consiste em coordenadas, menus e estado do aplicativo. O EEBench usa um topile em vez disso. O circuito vive em código declarativo, então o agente pode trabalhar diretamente em componentes, conexões e restrições elétricas. Ele pode alterar o design, construí-lo, executar uma simulação e inspecionar o que falhou sem sair do projeto. Isso funcionou muito melhor para nós do que pedir a um modelo para desenhar linhas em uma GUI. Também significa que o benchmark pode gastar menos tempo testando o uso do computador e mais tempo testando eletrônica.

O mundo real é bagunçado. Uma das tarefas públicas é baseada em um medidor de energia residencial. Quando sua fonte de 5 V desaparece, o circuito precisa manter o processador vivo por mais 20 ms para que ele possa salvar a leitura acumulada. O trilho protegido deve permanecer acima do limite de queda de tensão de 3,0 V do processador durante essa janela. A maioria dos modelos salta intuitivamente para a conclusão básica correta: adicionar um capacitor. Um capacitor real torna a tarefa mais interessante. Uma peça cerâmica pode fornecer muito menos do que sua capacitância anunciada uma vez que há tensão sobre ela. As peças têm tolerâncias. Adicionar mais capacitância custa mais, ocupa espaço e torna o trilho mais lento para recarregar quando a energia retorna. Um design que funciona com valores nominais pode falhar com as peças que chegam. O EEBench corta a energia de entrada na simulação e mede o que acontece. Ele verifica a tensão durante toda a interrupção, a capacitância efetiva no ponto de operação, a recuperação após o retorno da energia e os limites de pacote, dielétrico, tensão nominal e custo.

Mas acertar as equações é apenas parte da engenharia eletrônica. O EEBench usa peças reais de fabricantes, com especificações extraídas de suas folhas de dados e levadas para o modelo SPICE. O agente precisa encontrar uma combinação que funcione nesses cantos de tolerância enquanto também escolhe peças que existem, podem ser...