Le 25 août, Open AI a pleinement dévoilé Jalapeño, la première puce accélératrice d'IA de l'entreprise. Jalapeño offre jusqu'à 13,4 petaflops de calcul 4 bits et accède à 232 gigaoctets de mémoire avancée, s'y connectant à 15,4 téraoctets par seconde. Les benchmarks montrent que Jalapeño peut réduire la latence de bout en bout jusqu'à 3,6 fois par rapport au GB300 de Nvidia, tout en consommant moins d'énergie.

La puce est passée du premier concept d'architecture au premier silicium en moins de 20 mois, avec seulement neuf mois entre le premier RTL et le tape-out. L'équipe de conception comptait en moyenne moins de 100 personnes, Broadcom gérant la conception physique à partir des portes logiques tandis qu'Open AI gérait la conception système de bout en bout, y compris l'accélérateur d'inférence, la hiérarchie mémoire et le réseau.

Richard Ho, vice-président du matériel chez Open AI, affirme que les LLMs donnent des super-pouvoirs aux ingénieurs, permettant une exploration plus rapide des chemins de conception. Des experts comme David Chin de Verkor.io et Andrew Kahng de UC San Diego reconnaissent la vitesse comme impressionnante, bien que l'implication de Broadcom ait été jugée essentielle. Ankur Srivastava de University of Maryland note que les LLMs diffèrent des outils d'automatisation précédents par leur capacité à comprendre le langage et le code, les rendant bien adaptés aux tâches de conception de puces encore dans le domaine linguistique.