টেনসরডাইনের নেপিয়ার চিপ AI ইনফারেন্স ত্বরান্বিত করার জন্য ডিজাইন করা হয়েছে। প্রায় 2020 সাল থেকে, AI প্রধানত বড় এবং উত্তম মডেলগুলো প্রশিক্ষিত করার উপর কেন্দ্র করেছে। বড় ভাষা মডেলগুলো (LLMs) মিলিয়ন প্যারামিটার থেকে ট্রিলিয়ন পর্যন্ত বেড়েছে। এটি প্রমাণিত হয়েছে যে এটি কার্যকর: ওপেন AI-র GPT-3-এর সর্বোচ্চ সংস্করণ, যা 2020-এ প্রকাশ করা হয়েছিল, একটি জনপ্রিয় জ্ঞান এবং যুক্তি-ভিত্তিক মানদণ্ডের মধ্যে কেবল 43.9% প্রশ্নের সঠিক উত্তর দিয়েছিল। মাত্র চার বছর পরে, GPT-4o একই পরীক্ষায় 88.7% স্কোর অর্জন করেছে, যা প্রকৃতপক্ষে মানব বিশেষজ্ঞদের সমান হয়েছে। অগ্নিমুখী AI ল্যাবগুলো এখনো আরও বড় মডেলগুলো প্রশিক্ষিত করছে, কিন্তু সেই প্রশিক্ষণ AI আলাপের পৃষ্ঠাভুলো থেকে সামান্য পেছনে সরে এসেছে। 2026 সালে, ইনফারেন্স—প্রশিক্ষিত মডেলগুলো ব্যবহার করে কোড, রচনা বা আমাদেরকে ইলফ হিসেবে ছবি তৈরি করা—সামনে এসেছে।

“এটি যেন প্রশিক্ষণ গতকালের খবর,” বলেছেন মুর ইনসাইট্স এন্ড স্ট্র্যাটেজির প্রিনসিপ্যাল ডেটাসেনটার বিশ্লেষক ম্যাট কিমবল। “কোনো চীফ ইনফরমেশন অফিসার ইনফারেন্স ছাড়া কিছু চিন্তা করতে চান না।” ন্ভিডিয়ার সিইओ জেনসেন হুয়াং, কোম্পানির GTC 2026 সম্মেলনে কথা বলার সময়, এই পরিবর্তনকে “ইনফারেন্সের বিন্দুমোড়” হিসেবে প্রশংসা করেছেন।

এই স্থানান্তরের একটি কারণ খুবই সরল: LLMগুলো উপযোগী হয়ে উঠেছে, তাই লোগে তাদের ব্যবহার করছে। উপরন্তু, বর্তমান বাজারে অনেক মডেল রিজনিং মডেল। ব্যবহারকারীর ক্যুরির প্রতিক্রিয়ায়, তারা ইনফারেন্স একবার নয় কয়বার চালায়, চেন অক অफ থট নামক প্রক্রিয়ায় নিজের প্রতি প্রশ্ন করে। রিজনিং মডেলগুলো দীর্ঘ আউটপুট তৈরি করে, এবং উচ্চ রিজনিং প্রয়াস সম্পন্ন মডেলগুলো নিম্ন বা কোনো প্রয়াস না থাকা মডেলগুলো থেকে 20 গুণ বেশি টেক্স্ট উত্পাদন করতে পারে।

ফলে ইনফারেন্স চাহিদার বিস্ফোরণ টেক দিগ্গন্তদের মধ্যে অপ্রত্যাশিত জোটবদ্ধতার দিকে নিয়ে এসেছে। ওপেন AI এবং অমেজন Cerebras দ্বারা ডিজাইন করা ডাইনার প্লেটের আকারের চিপস স্থাপন করেছে, যদিও অমেজনের নিজস্ব Trainium চিপস আছে। ন্ভিডিয়া AI ইনফারেন্স স্টার্টআপ Groq থেকে গুরুত্বপূর্ণ প্রতিভা এবং বৌদ্ধিক সম্পত্তি কিনেছে, একটি বিতর্কিত চুক্তি যার মূল্য 20 বিলিয়ন US ডলার। এবং এন্থ্রোপিক প্রতিযোগী LLM স্পেস XAI-কে প্রতি মাসে এক বিলিয়ন ডলারের বেশি দিয়ে স্পেয়ার কম্পিউট ভাড়া নিয়েছে।