StarSkirmish Bench-এর একটি নতুন সংস্করণ প্রকাশিত হয়েছে, একটি বেঞ্চমার্ক যেখানে বৃহৎ ভাষা মডেল কোড লিখে StarCraft: Brood War খেলে। এতে OpenAI, Anthropic, Google ও Meta-এর ফ্ল্যাগশিপ মডেলের ফলাফল রয়েছে। Star Skirmish হলো এমন একটি বেঞ্চমার্ক যেখানে LLM StarCraft: Brood War-এর জন্য বট লেখে। প্রতিটি মডেল C++-এ একটি Protoss বট লিখতে এক ঘণ্টার বাস্তব সময় পায়। এরপর সেই বট অন্যান্য LLM-এর বট এবং প্রতিষ্ঠিত মানুষের লেখা বটের বিরুদ্ধে মূল্যায়িত হয়। এই বেঞ্চমার্কটি দীর্ঘ-পরিসরের যুক্তি ও এজেন্টিক কোডিং পরীক্ষা করতে ডিজাইন করা হয়েছে, কারণ মডেলদের অনুশীলন ম্যাচের শিক্ষা কাজে লাগিয়ে নিজের বটের উন্নতি করতে হয়।
v0.2 আপডেটে GPT-6 Astra সর্বোচ্চ স্কোরধারী মডেল, যা দ্বিতীয় স্থানে থাকা GPT-6.1 Sol-এর চেয়ে স্পষ্টভাবে এগিয়ে। Gemini 4 Argon, Claude Opus 5.5 ও Claude Fable 5.1 তাদের পেছনে কার্যত সমান, সবগুলো 37 থেকে 39-এর মধ্যে স্কোর করেছে। Gemini 4 Argon তার সর্বোচ্চ উপলব্ধ যুক্তি-প্রচেষ্টায় চলে, আর বাকি সব মডেল সর্বোচ্চ মাত্রায় চলে। স্কোর হলো প্রতিটি মডেলের পাঁচটি রানে প্রতিযোগিতামূলক মানুষের লেখা ও ডেমো বটের তালিকার বিরুদ্ধে গড় জয়ের হার।
খরচও বিবেচনায় নেওয়া হয়েছে। GPT-6.1 Sol অসাধারণ মূল্য দেয়: এটিই একমাত্র মডেল যা সবচেয়ে আকর্ষণীয় চতুর্ভাগে রয়েছে, দ্বিতীয় স্কোর করেছে এবং প্রতি রানের খরচ GPT-6 Astra-র এক-দশমাংশের সামান্য বেশি। Gemini 4 Argon-এর রানগুলোর মধ্যে তারতম্য অন্য ফ্ল্যাগশিপ মডেলগুলোর চেয়ে অনেক বেশি, তার সেরা ও সবচেয়ে খারাপ রানের ব্যবধান 18 পয়েন্ট।
শক্তিশালী মানুষের লেখা বটগুলো এখনও সব মডেলের চেয়ে অনেক এগিয়ে। Stardust, Purple Wave ও Banana Brain-এর বিরুদ্ধে সেরা মডেল GPT-6 Astra তার মাত্র 7% খেলা জেতে। ডেভেলপাররা উল্লেখ করেছেন যে এক ঘণ্টার যুক্তির সীমা একটি কারণ, তবে বাস্তব টুর্নামেন্টের পরিস্থিতি অনেক বেশি কঠিন হবে।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing