HeadlinesBriefing favicon HeadlinesBriefing.com

Chip Jalapeño OpenAI Menghasilkan Peningkatan 1.5-4.1x dalam Inferensi AI

OpenAI Blog •
×

OpenAI telah merilis hasil performa pertama untuk Jalapeño, chip inferensi khusus pertamanya, yang menunjukkan kecepatan dan efisiensi terdepan dalam industri. Chip ini memberikan 1,5 hingga 1,9 kali lebih banyak kerja AI per watt pada throughput puncak dan 1,7 hingga 3,6 kali latensi end-to-end yang lebih rendah dibandingkan dengan sistem komersial terdepan yang tersedia secara komersial. Untuk beban kerja yang sangat interaktif, Jalapeño mencapai 2,1 hingga 4,1 kali kinerja yang lebih tinggi.

Pengujian pada model GPT‑OSS 120B, Deep Seek R1, dan Kimi K2.5 1T menunjukkan peningkatan yang konsisten untuk arsitektur yang dikembangkan baik di dalam maupun di luar OpenAI. Pada model terbesar, Kimi K2.5 1T, Jalapeño memberikan peningkatan performa puncak per watt sekitar 1,5 kali dan penurunan latensi 3,4 kali. Chip ini diberdayakan pada 700 watt, tetapi selama pengujian beroperasi secara terus-menerus pada atau di bawah 550 watt.

OpenAI menekankan keunggulan full-stack dengan merancang model, perangkat lunak layanan, chip, memori, jaringan, dan sistem bersama-sama menggunakan data beban kerja nyata. Jalapeño mewakili awal dari platform multigenerasi, dengan rencana untuk meningkatkan produksi guna menyajikan produk yang lebih cepat, lebih mampu, dan lebih efisien. Performa diukur menggunakan benchmark Inference X publik dari Semi Analysis, dengan evaluasi pengalaman pengguna yang sesuai di seluruh rentang operasional.

Entitas kunci: Perusahaan: OpenAI, Semi Analysis