25 августа Open AI полностью представила Jalapeño — первый чип-ускоритель ИИ компании. Jalapeño обеспечивает до 13,4 петафлопс 4-битных вычислений и обращается к 232 гигабайтам передовых памяти, подключенным со скоростью 15,4 терабайта в секунду. Тесты показывают, что Jalapeño может сократить сквозную задержку до 3,6 раз по сравнению с GB300 Nvidia, потребляя меньше энергии.

Чип прошел от первой архитектурной концепции до первого кремния менее чем за 20 месяцев, всего девять месяцев отделяли первый RTL от тап-аута. Команда дизайнера в среднем составляла менее 100 человек, Broadcom занималась физическим дизайном от гейтов и далее, в то время как Open AI управляла сквозным системным дизайном, включая ускоритель вывода, иерархию памяти и сети.

Ричард Хо, вице-президент по оборудованию в Open AI, говорит, что LLM дают инженерам суперспособности, позволяя быстрее исследовать пути проектирования. Эксперты вроде Дэвида Чина из Verkor.io и Эндрю Канга из UC San Diego признают скорость впечатляющей, хотя участие Broadcom считалось необходимым. Анкур Шривастава из University of Maryland отмечает, что LLM отличаются от предыдущих инструментов автоматизации способностью понимать язык и код, что делает их подходящими для задач проектирования чипов, все еще находящихся в лингвистической области.