25 अगस्त को, Open AI ने Jalapeño को पूरी तरह से पेश किया, जो कंपनी का पहला AI एक्सेलेरेटर चिप है। Jalapeño 13.4 पेटाफ्लॉप्स तक 4-बिट कंप्यूट देता है और 232 गीगाबाइट उन्नत मेमोरी तक पहुंचता है, जो इससे 15.4 टेराबाइट प्रति सेकंड की गति से जुड़ा है। बेंचमार्क दिखाते हैं कि Jalapeño Nvidia के GB300 की तुलना में एंड-टू-एंड लेटेंसी को 3.6 गुना तक कम कर सकता है, जबकि कम बिजली की खपत करता है।

चिप पहले आर्किटेक्चर कॉन्सेप्ट से पहले सिलिकॉन तक 20 महीने से कम में पहुंची, पहले RTL से टेप-आउट तक केवल नौ महीने का अंतर था। डिज़ाइन टीम का औसत 100 से कम लोग थे, Broadcom ने गेट्स से आगे फिजिकल डिज़ाइन संभाला, जबकि Open AI ने एंड-टू-एंड सिस्टम डिज़ाइन प्रबंधित किया जिसमें इन्फ्रेंस एक्सेलेरेटर, मेमोरी हायरार्की, और नेटवर्किंग शामिल हैं।

Open AI के हार्डवेयर उपाध्यक्ष Richard Ho कहते हैं कि LLMs इंजीनियरों को सुपरपावर देते हैं, जिससे डिज़ाइन पथों की तेजी से खोज संभव होती है। Verkor.io के David Chin और UC San Diego के Andrew Kahng जैसे विशेषज्ञ गति को प्रभावशाली मानते हैं, हालांकि Broadcom की भागीदारी को आवश्यक माना गया। University of Maryland के Ankur Srivastava नोट करते हैं कि LLMs पूर्व ऑटोमेशन टूल से भिन्न हैं क्योंकि वे भाषा और कोड समझने की क्षमता रखते हैं, जो उन्हें अभी भी भाषाई डोमेन में चिप डिज़ाइन कार्यों के लिए उपयुक्त बनाता है।