Dieser Artikel erklärt, wie man ein Entscheidungsmodell mit einem großen Sprachmodell (LLM) erstellt, indem man die Ausgaben auf eine feste Menge von Optionen wie A bis E beschränkt. Im Gegensatz zu Standardsprachmodellen, die Tokens sequentiell generieren, treffen Entscheidungsmodelle wie Jev feste Auswahlentscheidungen und machen Vorhersagen in einem einzigen Durchgang. Der Autor demonstriert diese Technik anhand des Modells Qwen/Qwen3-1.7B, indem er beschränkte Decodierung anwendet, um die Ausgaben auf vordefinierte Tokens zu beschränken. Durch das Maskieren aller anderen Vokabelartikel kann das Modell nur gültige Optionen ausgeben, und der Token mit der höchsten Wahrscheinlichkeit wird als Antwort ausgewählt.
Der Ansatz wurde am CommonsenseQA-Datensatz getestet und erreichte ohne Feinabstimmung eine Genauigkeit von 59,38 %. Nach einer schnellen Feinabstimmung verbesserte sich die Genauigkeit auf 62,41 %. Der Artikel weist außerdem darauf hin, dass die Wahrscheinlichkeiten der Ausgabe-Tokens nicht unbedingt das wahre Vertrauen in die Richtigkeit widerspiegeln, insbesondere bei mehrdeutigen Fragen. Der Autor bietet eine vollständige Python-Implementierung mit Hugging Face Transformers und PyTorch an, die zeigt, wie man Prompts formatiert, Modelle lädt und die Wahrscheinlichkeiten für jede Option berechnet. Diese Methode bietet eine leichte Möglichkeit, LLMs für Mehrfachauswahl-Aufgaben umzufunktionieren.
Wichtige Entitäten: Unternehmen: Hugging Face, Qwen
Häufig gestellte Fragen: Wie verbessert beschränkte Decodierung die Entscheidungsfindung von LLMs?
Beschränkte Decodierung beschränkt die Ausgabe des Modells auf einen vordefinierten Satz von Tokens (z. B. A–E), wodurch Einzel-Durchgang-Vorhersagen ermöglicht werden. Dies ahmt Entscheidungsmodelle wie Jev nach und reduziert den Rechenaufwand, indem es die Notwendigkeit iterativer Token-Generierung eliminiert.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing