El 25 de agosto, Open AI presentó completamente Jalapeño, el primer chip acelerador de IA de la empresa. Jalapeño ofrece hasta 13,4 petaflops de cómputo de 4 bits y accede a 232 gigabytes de memoria avanzada, conectándose a ella a 15,4 terabytes por segundo. Las pruebas de rendimiento muestran que Jalapeño puede reducir la latencia de extremo a extremo hasta 3,6 veces en comparación con Nvidia's GB300, consumiendo menos energía.

El chip pasó del primer concepto de arquitectura al primer silicio en menos de 20 meses, con solo nueve meses entre el primer RTL y el tape-out. El equipo de diseño promedió menos de 100 personas, con Broadcom manejando el diseño físico desde las compuertas en adelante, mientras Open AI gestionaba el diseño de sistema de extremo a extremo, incluyendo el acelerador de inferencia, la jerarquía de memoria y las redes.

Richard Ho, vicepresidente de hardware en Open AI, dice que los LLMs dan superpoderes a los ingenieros, permitiendo una exploración más rápida de rutas de diseño. Expertos como David Chin de Verkor.io y Andrew Kahng de UC San Diego reconocen la velocidad como impresionante, aunque la participación de Broadcom se consideró esencial. Ankur Srivastava de University of Maryland señala que los LLMs difieren de herramientas de automatización previas por su capacidad para entender lenguaje y código, haciéndolos adecuados para tareas de diseño de chips aún en el dominio lingüístico.