Versi baru StarSkirmish Bench, sebuah benchmark ketika model bahasa besar bermain StarCraft: Brood War dengan menulis kode, telah dirilis dengan hasil dari model unggulan OpenAI, Anthropic, Google, dan Meta. Star Skirmish adalah benchmark tempat LLM menulis bot untuk StarCraft: Brood War. Setiap model mendapat satu jam waktu nyata untuk menulis bot Protoss dalam C++. Bot tersebut kemudian dievaluasi melawan bot dari LLM lain dan bot buatan manusia yang sudah mapan. Benchmark ini dirancang untuk menguji penalaran jangka panjang dan pengodean agentik, karena model harus menerapkan pelajaran dari pertandingan latihan untuk meningkatkan bot mereka.
Pada pembaruan v0.2, GPT-6 Astra adalah model dengan skor tertinggi, jauh di depan GPT-6.1 Sol di posisi kedua. Gemini 4 Argon, Claude Opus 5.5, dan Claude Fable 5.1 secara praktis seri di belakang keduanya, dengan skor antara 37 dan 39. Gemini 4 Argon berjalan pada tingkat upaya penalaran tertinggi yang tersedia baginya, sementara semua model lain berjalan pada tingkat maksimum. Skor adalah rata-rata tingkat kemenangan dari lima kali menjalankan setiap model melawan sekumpulan bot buatan manusia yang kompetitif dan bot demo.
Biaya juga diperhitungkan. GPT-6.1 Sol menawarkan nilai yang luar biasa baik: ia adalah satu-satunya model di kuadran paling menarik, meraih peringkat kedua dengan biaya per putaran hanya sedikit di atas sepersepuluh biaya GPT-6 Astra. Gemini 4 Argon bervariasi jauh lebih besar antarputaran dibanding model unggulan lain, dengan selisih 18 poin antara putaran terbaik dan terburuknya.
Bot buatan manusia yang terkuat tetap jauh di depan semua model. Melawan Stardust, Purple Wave, dan Banana Brain, model terbaik, GPT-6 Astra, hanya memenangkan 7% pertandingannya. Para pengembang mencatat bahwa batas penalaran satu jam menjadi faktor, tetapi kondisi turnamen sungguhan akan jauh lebih sulit.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing