Am 25. August stellte Open AI Jalapeño vollständig vor, den ersten KI-Beschleuniger-Chip des Unternehmens. Jalapeño liefert bis zu 13,4 Petaflops 4-Bit-Rechenleistung und greift auf 232 Gigabyte fortschrittlichen Speicher zu, der mit 15,4 Terabyte pro Sekunde angebunden ist. Benchmarks zeigen, dass Jalapeño die End-to-End-Latenz im Vergleich zu Nvidias GB300 um bis zu 3,6-fach reduzieren kann, bei geringerem Stromverbrauch.

Der Chip ging vom ersten Architekturkonzept zum ersten Silizium in unter 20 Monaten, mit nur neun Monaten zwischen erstem RTL und Tape-out. Das Designteam bestand im Durchschnitt aus weniger als 100 Personen, Broadcom übernahm das physische Design ab Gate-Level, während Open AI das End-to-End-Systemdesign einschließlich Inferenzbeschleuniger, Speicherhierarchie und Netzwerk verantwortete.

Richard Ho, Vice President Hardware bei Open AI, sagt, LLMs gäben Ingenieuren Superkräfte und ermöglichten schnellere Erkundung von Designpfaden. Experten wie David Chin von Verkor.io und Andrew Kahng von UC San Diego würdigen die Geschwindigkeit als beeindruckend, though Broadcoms Beteiligung als essenziell erachtet wurde. Ankur Srivastava von der University of Maryland merkt an, dass LLMs sich von früheren Automatisierungstools durch ihre Fähigkeit unterscheiden, Sprache und Code zu verstehen, was sie gut für Chipdesign-Aufgaben macht, die noch im linguistischen Bereich liegen.