Chip Napier dari Tensordyne dirancang untuk mempercepat inferensi AI. Sejak sekitar 2020, AI sebagian besar fokus pada pelatihan model yang lebih besar dan lebih baik. Model bahasa besar (LLM) membengkak dari jutaan parameter ke triliunan. Ini terbukti efektif: versi terbesar GPT-3 dari Open AI, dirilis pada 2020, menjawab dengan benar hanya 43,9 persen pertanyaan pada benchmark pengetahuan dan reasoning yang populer. Hanya empat tahun kemudian, GPT-4o mencapai skor 88,7 persen pada ujian yang sama, efektif setara dengan ahli manusia. Lab AI majuh masih melatih model yang semakin besar, namun pelatihan tersebut sedikit mundur ke latar belakang percakapan AI. Pada tahun 2026, inferensi—penggunaan model yang dilatih untuk menghasilkan kod, menulis esai, atau membuat gambar diri kita sebagai elf—telah datang ke depan.

“Ini seperti pelatihan adalah berita kemarin,” kata Matt Kimball, analis pusat data utama di Moor Insights & Strategy. “Yang semua CIO inginkan untuk dibicarakan adalah inferensi.” CEO Nvidia Jensen Huang, berbicara di konferensi GTC 2026 perusahaan, memuji perubahan ini sebagai “titik balik inferensi.”

Sebagian dari apa yang menyebabkan pergeseran ini sangat sederhana: LLM menjadi berguna, jadi orang menggunakannya. Di atas itu, banyak model di pasar saat ini adalah model reasoning. Sebagai tanggapan terhadap query pengguna, mereka menjalankan inferensi tidak hanya satu kali tetapi beberapa kali, memprompts diri mereka sendiri dalam proses yang disebut chain of thought. Model reasoning menghasilkan output yang lebih panjang, dan model dengan usaha reasoning tinggi dapat menghasilkan hingga 20 kali lebih banyak teks daripada yang dengan usaha rendah atau tidak ada.

Ledakan permintaan inferensi yang dihasilkan mengakibatkan aliansi tak terduga di antara raksasa teknologi. Open AI dan Amazon telah menyebaraskan chip berukuran piring makan dirancang oleh Cerebras, meskipun memiliki chip Trainium sendiri. Nvidia membeli talenta kunci dan kekayaan intelektual dari startup inferensi AI Groq dalam kesepakatan kontroversial senilai US $20 miliar. Dan Anthropic membayar kompetitor LLM Space XAI lebih dari satu miliar dolar per bulan untuk menyewa komputasi cadangan.

Entitas Utama: Perusahaan: Tensordyne, Open AI, Nvidia, Amazon Web Services, Cerebras, Moor Insights & Strategy, Space XAI, Anthropic, Groq | Orang: Matt Kimball, Jensen Huang