Em 25 de agosto, a Open AI revelou totalmente o Jalapeño, o primeiro chip acelerador de IA da empresa. O Jalapeño oferece até 13,4 petaflops de computação de 4 bits e acessa 232 gigabytes de memória avançada, conectando-se a ela a 15,4 terabytes por segundo. Benchmarks mostram que o Jalapeño pode reduzir a latência de ponta a ponta em até 3,6 vezes em comparação com o GB300 da Nvidia, consumindo menos energia.

O chip passou do primeiro conceito de arquitetura ao primeiro silício em menos de 20 meses, com apenas nove meses entre o primeiro RTL e o tape-out. A equipe de design teve em média menos de 100 pessoas, com a Broadcom lidando com o design físico a partir dos gates, enquanto a Open AI gerenciava o design de sistema de ponta a ponta, incluindo o acelerador de inferência, hierarquia de memória e rede.

Richard Ho, vice-presidente de hardware da Open AI, diz que LLMs dão superpoderes aos engenheiros, permitindo exploração mais rápida de caminhos de design. Especialistas como David Chin da Verkor.io e Andrew Kahng da UC San Diego reconhecem a velocidade como impressionante, embora o envolvimento da Broadcom tenha sido considerado essencial. Ankur Srivastava da University of Maryland observa que LLMs diferem de ferramentas de automação anteriores devido à sua capacidade de entender linguagem e código, tornando-os adequados para tarefas de design de chips ainda no domínio linguístico.