২০২৫ সেপ্টেম্বরে, থিংকিং মেশিন্স ল্যাবের হরেস হে এবং তার সহকর্মীরা "টেল মি আবাউট রিচার্ড ফেনম্যান" প্রশ্নটিকে Qwen3-235B এ ১০০০বার তাপমাত্রা 0 এ পাঠিয়েছিলেন, একই ১০০০-টোকেন উত্তরের প্রত্যাশা করেছিলেন। তারা ৮০ টি অনন্য সম্পূর্ণতা পেয়েছেন। সমস্ত রান প্রথম ১০২ টোকেন পর্যন্ত একই ছিল; টোকেন ১০৩ এ, ৯৯২টি "কিউইন্স, নিউ ইয়র্ক" চালিয়েছে এবং ৮টি "নিউ ইয়র্ক সিটি"। এই পরিবর্তনগুলো GPU থ্রেড একযোগের কারণে নয়, বরং কার্নেলগুলোর কারণে যার রিডিউকশন ক্রম ব্যাচ আকারের সাথে পরিবর্তন হয়, যার ফলে আদান নির্ভর করে এই মুহূর্তে অন্যান্য কতগুলো অনুরোধ আছে।
তাপমাত্রা 0 এ মডেল সর্বোচ্চ-লগিট টোকেনটি বেছে নেয়, যা গণিতে নির্ধারিত কিন্তু ভাসমান বিন্দু গণনায় নয়, যেখানে যোগ সমবায় নয়। একটি নিউরাল নেটওয়ার্ক অরবান সংখ্যাগুলো এরকম যোগ করে, তাই হার্ডওয়ারের ক্রম গুরুত্বপূর্ণ। হে ইত্যাদি দেখিয়েছেন যে টিপিকাল ফরवার্ড পাসে কোনো এটোমিক যোগ নেই এবং একই ইনপুটে একই বিট ফেরত দেয়, কিন্তু অনেক কার্নেল ব্যাচ-অনিয়তমকর্তা নয়।
গাণিতিকভাবে, z₁ এবং z₂ হল দুটি সর্বোচ্চ লগিট যার ব্যবধান M = z₁ - z₂ >= 0। সংখ্যাত্মক ব্যাচী ব্যবধানকে Δ ত্রুটি পরিবর্তন করে, এবং argmax তবে পরিবর্তন হয় যদি M + Δ < 0 হয়। ৮ লগিটের ব্যবধান কখনো পরিবর্তন হয় না; কেবল প্রায়-সমানতা অবস্থাই ঝুঁকিতে। প্রতি টোকেন পরিবর্তনের সম্ভাবনা p ≈ f(0) · E|Δ| / 2, যেখানে f(0) হল প্রায়-সমানতার ঘনত্ব এবং E|Δ| হল প্রত্যাশিত ব্যাচীর পরিমাণ।
ব্যাচ-অনিয়তমকর্তা কার্নেল ব্যবহার করে, সমস্ত ১০০য় ফেনম্যান সম্পূর্ণতা একই হয়েছে। ঠিকারীর মূল্য প্রদর্শন: অনুকূলিত নয় এমন নির্ধারিত সংস্করণ ৫৫ সেকেন নিয়েছে, যেখানে ডিফল্ট vLLM ২৬ সেকেন নিয়েছে।
উৎস: Towards Data Science · সারাংশ: HeadlinesBriefing