Type Safes Jev hat eine neue Variante großer Sprachmodelle eingeführt, die die KI-Welt im Sturm erobert hat. Laut Vercel wurde „Jev schneller übernommen als jedes andere Modell in der Geschichte von AI Gateway“. Doch es ziehen Wolken auf. OpenAI schenkt dem zweifellos Aufmerksamkeit – und entscheidet, was als Nächstes zu tun ist. Ich wünsche Type Safe alles Gute, aber wenn sie ihre Versprechen wirklich einlösen, dann bin ich besorgt, dass OpenAI gut positioniert ist, um schnell zu folgen – nicht nur, um Jevs Flaggschiffprodukt zu replizieren, sondern auch, um diese Fähigkeit in kommende Modelle und Agenten einzubinden und wirklich nützliches neues Verhalten zu bieten, das Jev nicht reproduzieren kann.

OpenAI hat jahrelang seine LLMs als implizite Klassifikatoren verwendet; sie haben sie nur nicht für allgemeine Klassifikationsaufgaben trainiert und die allgemeine Klassifikation nicht als eigenständiges Produkt verpackt. Wenn OpenAI das Training replizieren kann, kann es Jev in kurzer Zeit replizieren. Darüber hinaus ist OpenAI positioniert, diesen neuen Klassifikator in seinen bestehenden Modellen und Agenten zu verwenden, was für schnelle Modellauswahl, effizienteres Denken, bessere Sicherheitsleitplanken und allgemein intelligentere, schnellere und günstigere Modelle nützlich sein kann.

Der entscheidende Faktor für all dies ist, ob Type Safe einen Burggraben hat. Der größte Burggraben, den ich sehe, liegt in Type Safes Trainingsdaten und Trainingsprozessen. Meine Hauptannahme ist, dass Jev etwas verwendet, das einem konventionellen großen Sprachmodell ziemlich nahekommt. Als Beweis berichtet Latent Space, dass viele der frühen Klone tatsächlich LLM-basiert sind. Gegeben einen Zustand und eine Reihe von Fragen generiert Jevs LLM ein einzelnes Token oder, genauer gesagt, generiert die Wahrscheinlichkeitsverteilung über alle möglichen nächsten Token. Die mit jedem möglichen Token in diesem Schritt verbundenen Logprobs werden dann in das Format gebracht, das Jev zurückgeben muss. Bei einer noul-Frage betrachtet Jev nur zwei Token, true und false, ignoriert alles andere und normalisiert ihre Wahrscheinlichkeiten zu einer einzigen Wahrscheinlichkeit, dass die Antwort true ist. Bei einer Auswahlfrage kann Jev mit einer Liste von Möglichkeiten aufgefordert werden, und es betrachtet die relativen Wahrscheinlichkeiten dieser Token, um die vollständige Verteilung aufzubauen, und wählt die höchste als Gewinner. Das Auswahlmuster entspricht ziemlich genau dem, was ich 2025 in Supercharging LLM Classifications with Logprobs gebloggt habe, und selbst ohne Feinabstimmung zeigte es bereits Potenzial. Ich habe nicht intensiv über das score-Primitiv nachgedacht, aber ich vermute, es ist eine Variante desselben Musters. Ein Teil der Prämisse dieses Beitrags ist, dass OpenAI bereit sein könnte, diese Idee schnell zu nutzen, und dies wird klarer, wenn man versteht, wie. OpenAI verwendet große Sprachmodelle mindestens seit der Einführung des Tool-Aufrufs implizit als spezialisierte Klassifikatoren. Anfang 2024 schrieb ich Tool Invocation – Demonstrating the Marvel of GPT's Flexibility, wo ich ein GPT-Modell dazu brachte, genau zu offenbaren, wie es entscheidet, ein Tool aufzurufen. Das Folgende zeigt, wie eine Chat-Sitzung intern aussieht. Hier gibt es eine Benutzernachricht, dann eine Assistentenantwort ohne Tool-Aufruf, gefolgt von einer Benutzernachricht mit einem Tool-Aufruf: Ich habe den Text farbcodiert, um Token-Grenzen anzuzeigen. Wenn Sie Chat ML noch nicht gesehen haben, ist es die interne Auszeichnungssprache, die OpenAI zur Organisation von Benutzer-Agent-Konversationsaufforderungen eingeführt hat. und sind reservierte Token, die die Nachrichten begrenzen, und das erste Token nach identifiziert den Sprecher, entweder Benutzer oder Assistent. Direkt nach assistant, das ve...