Pada 25 Agustus, Open AI sepenuhnya mengungkap Jalapeño, chip akselerator AI pertama perusahaan. Jalapeño menyediakan hingga 13,4 petaflops komputasi 4-bit dan mengakses 232 gigabyte memori canggih, terhubung padanya pada 15,4 terabyte per detik. Benchmark menunjukkan Jalapeño dapat mengurangi latensi end-to-end hingga 3,6 kali dibandingkan GB300 Nvidia, sambil mengonsumsi daya lebih rendah.

Chip bergerak dari konsep arsitektur pertama ke silicon pertama dalam kurang dari 20 bulan, dengan hanya sembilan bulan memisahkan RTL pertama dari tape-out. Tim desain rata-rata kurang dari 100 orang, Broadcom menangani desain fisik dari gerbang ke atas sementara Open AI mengelola desain sistem end-to-end termasuk akselerator inferensi, hierarki memori, dan jaringan.

Richard Ho, wakil presiden hardware di Open AI, berkata LLM memberikan kekuatan super pada insinyur, memungkinkan eksplorasi jalur desain lebih cepat. Ahli seperti David Chin dari Verkor.io dan Andrew Kahng dari UC San Diego mengakui kecepatan sebagai mengesankan, meskipun keterlibatan Broadcom dianggap esensial. Ankur Srivastava dari University of Maryland mencatat LLM berbeda dari alat otomatisasi sebelumnya karena kemampuannya memahami bahasa dan kode, membuatnya cocok untuk tugas desain chip yang masih dalam domain linguistik.