Qwen 3.8 27B war einer der am meisten erwarteten Open-Weight-Releases, die ich je gesehen habe, und ich habe sofort mit dem Testen und Spielen begonnen, als er erschien. Ich liefere es auf einem einzelnen Lenovo Think Station PGX, einem kompakten Workstation, der auf Nvidias GB10 Grace Blackwell Chip basiert, mit 128 GB unified memory und 273 GB/s Bandbreite. Von Haus aus verwaltet es einen ziemlich langweiligen 15 bis 30 Tokens pro Sekunde, aber mit einer SGLang, NVFP4 und DFlash2 spekulativen Decodierungseinstellung, die zum Standardrezept für diese Hardware geworden ist, kann es etwa 50 Tokens pro Sekunde bei Code und Reasoning erreichen.

Eines meiner Tests jedoch bewies nur, wie unglaublich lokale Modelle geworden sind. Es gibt Gründe, an dem Hype zu glauben, wenn es um Qwen-Modelle geht; ich hatte durchgehend gute Erfahrungen mit Qwen 3.6 27B, und Qwen 3.8 27B ist, soweit ich sehe, mehr vom selben, aber besser. Tatsächlich hat Artificial Analysis es als das beste Open-Weight-Modell in der Größenklasse von 4B bis 40B von 135 Modellen eingestuft, mit einer 52 auf seinem Intelligenzindex, und seine eigenen Zahlen bei Dingen wie SWE-bench Pro schlagen Modelle, die viel teurer im Betrieb sind.

Ich gab ihm die schwierigste echte Aufgabe, die auf einem Gerät passt: Reverse-Engineering einer kommerziellen App-Lizenzprüfung, die ich bereits bezahlt und genutzt habe, nur um zu sehen, wie sie zurechtkommt. Es ist unwahrscheinlich, dass sie in ihren Trainingsdaten ist, aber es ist eine hochkomplexe und spezialisierte Aufgabe, und angesichts der Bedenken, die einige Menschen bezüglich der Cybersicherheitsfähigkeiten des Modells geäußert haben, fui...