Eine überarbeitete Version von StarSkirmish Bench ist erschienen, einem Benchmark, bei dem große Sprachmodelle StarCraft: Brood War spielen, indem sie Code schreiben. Veröffentlicht wurden Ergebnisse der Flaggschiffmodelle von OpenAI, Anthropic, Google und Meta. Star Skirmish ist ein Benchmark, bei dem LLMs Bots für StarCraft: Brood War schreiben. Jedes Modell erhält eine Stunde Echtzeit, um einen Protoss-Bot in C++ zu schreiben. Dieser Bot wird anschließend gegen die Bots anderer LLMs und etablierte, von Menschen geschriebene Bots getestet. Der Benchmark soll langfristiges logisches Denken und agentisches Programmieren prüfen, da die Modelle Erkenntnisse aus Übungsspielen einbeziehen müssen, um ihren Bot zu verbessern.
Im Update v0.2 ist GPT-6 Astra das bestbewertete Modell, mit deutlichem Abstand vor GPT-6.1 Sol auf dem zweiten Platz. Gemini 4 Argon, Claude Opus 5.5 und Claude Fable 5.1 liegen dahinter praktisch gleichauf, mit Werten zwischen 37 und 39. Gemini 4 Argon läuft mit der höchsten verfügbaren Denkanstrengung, alle anderen Modelle mit der maximalen Stufe. Die Werte sind die durchschnittlichen Siegquoten aus den fünf Durchläufen jedes Modells gegen ein Feld wettbewerbsfähiger, von Menschen geschriebener und Demo-Bots.
Auch die Kosten fließen ein. GPT-6.1 Sol bietet ungewöhnlich gutes Preis-Leistungs-Verhältnis: Es ist das einzige Modell im attraktivsten Quadranten und belegt den zweiten Platz bei nur gut einem Zehntel der Kosten pro Lauf von GPT-6 Astra. Gemini 4 Argon schwankt zwischen den Läufen deutlich stärker als andere Flaggschiffe, mit 18 Punkten Abstand zwischen bestem und schlechtestem Lauf.
Die stärksten von Menschen geschriebenen Bots liegen weiterhin deutlich vor allen Modellen. Gegen Stardust, Purple Wave und Banana Brain gewinnt das beste Modell, GPT-6 Astra, nur 7 % seiner Partien. Die Entwickler weisen darauf hin, dass das Limit von einer Stunde Denkzeit ein Faktor ist, echte Turnierbedingungen aber deutlich schwerer wären.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing