Sprachmodelle werden oft aufgefordert, eine Antwort Token für Token zu generieren, obwohl die Software nur eine Option aus einer begrenzten Menge auswählen muss. Ein Bankkunde, der angibt, dieselbe Überweisung zweimal bezahlt zu haben, muss an ein Supportteam weitergeleitet werden. Das Erzeugen eines JSON-Labels fügt dieser Entscheidung unnötige Textgenerierung und Parsing hinzu.
Dieser Artikel testet sieben offene "Jev"-Entscheidungsmodelle gegen eine Qwen-JSON-Generierungsbasis. Anstatt eine Antwort zu generieren, bewerten Jev-artige Modelle die verfügbaren Kandidaten und geben eine typisierte Entscheidung zurück. Der Vergleich umfasst Bankanfragen mit sowohl festen Routenlisten als auch wechselnden Kandidatenmenüs, was wichtig ist, weil Agenten-Werkzeuge und Workflow-Optionen zur Laufzeit häufig wechseln.
Kev führte bei der Genauigkeit und erreichte 98% sowohl bei festen Routen als auch bei wechselnden Kandidaten. Verdict erzielte 89% bei wechselnden Kandidaten, verglichen mit 66% für die LLM-Basis Qwen3-0.6B, die bei festen Routen 83% erreichte. Die JSON-Generierung schlug weiterhin die drei Qwen-Auslesekonfigurationen. Sowohl Kev als auch Verdict erzeugten keine Antwort-Token, während die Qwen-JSON-Generierung etwa 10 Token pro Anfrage benötigte.
Die gemessene mediane Anfragelatenz betrug 125–130 ms für Kev und 17–18 ms für Verdict, verglichen mit 331–357 ms für die LLM-Basis über beide Testreihen. Das Starter-Kit und der Benchmark stehen Lesern zur Verfügung, die ein Entscheidungsmodell ausprobieren und die JSON-Generierung mit einem direkten Auslesen vergleichen möchten.
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing