Le Jev de Type Safe a introduit une nouvelle variante des grands modèles de langage qui a pris d'assaut le monde de l'IA. Selon Vercel, « Jev a été adopté plus rapidement que tout autre modèle dans l'histoire d'AI Gateway. » Mais des nuages se forment. OpenAI est sans aucun doute attentif – et décide quoi faire ensuite. Je souhaite tout le meilleur à Type Safe, mais s'ils tiennent vraiment leurs promesses, je crains qu'OpenAI soit bien positionné pour suivre rapidement – non seulement pour reproduire le produit phare de Jev, mais aussi pour intégrer cette capacité dans les modèles et agents à venir et offrir un nouveau comportement vraiment utile que Jev n'est pas en position de reproduire.

OpenAI utilise depuis des années ses LLM comme classificateurs implicites ; ils ne les ont simplement pas entraînés pour des tâches de classification générale et n'ont pas empaqueté la classification générale comme un produit autonome. Si OpenAI peut reproduire l'entraînement, alors ils pourront reproduire Jev en peu de temps. De plus, OpenAI est bien positionné pour utiliser ce nouveau classificateur au sein de ses modèles et agents existants, ce qui peut être utile pour une sélection rapide de modèle, une réflexion plus efficace, de meilleures barrières de sécurité et des modèles globalement plus intelligents, plus rapides et moins chers.

Le facteur clé qui décide de tout cela est de savoir si Type Safe a ou non une douve. La plus grande douve que je vois réside dans les données et les processus d'entraînement de Type Safe. Mon hypothèse principale est que Jev utilise quelque chose d'assez proche d'un grand modèle de langage conventionnel. Comme preuve, Latent Space rapporte que beaucoup des premiers clones sont en effet basés sur des LLM. Étant donné un état et un ensemble de questions, le LLM de Jev génère un seul token ou, plus précisément, génère la distribution de probabilité sur tous les prochains tokens possibles. Les logprobs associés à chaque token possible à cette étape sont ensuite transformés dans le format que Jev doit renvoyer. Pour une question noul, Jev ne regarde que deux tokens, true et false, ignore tout le reste et normalise leurs probabilités en une seule probabilité que la réponse soit true. Pour une question de choix, Jev peut être incité avec une liste de possibilités et il examine les probabilités relatives de ces tokens pour construire la distribution complète, sélectionnant la plus élevée comme gagnante. Le modèle de choix est à peu près ce que j'ai blogué en 2025 dans Supercharging LLM Classifications with Logprobs, et même sans ajustement fin, il montrait déjà des promesses. Je n'ai pas beaucoup réfléchi à la primitive score, mais je soupçonne qu'il s'agit d'une variante du même modèle. Une partie de la prémisse de cet article est qu'OpenAI pourrait être prêt à tirer rapidement parti de cette idée, et cela devient plus clair si vous comprenez comment. OpenAI utilise implicitement les grands modèles de langage comme classificateurs spécialisés depuis au moins l'introduction de l'appel d'outils. Début 2024, j'ai écrit Tool Invocation – Demonstrating the Marvel of GPT's Flexibility, où j'ai amené un modèle GPT à révéler exactement comment il décide d'appeler un outil. Voici à quoi ressemble une session de chat en interne. Ici, il y a un message utilisateur, puis une réponse de l'assistant sans appel d'outil suivie d'un message utilisateur avec un appel d'outil : J'ai codé les couleurs du texte pour indiquer les limites des tokens. Si vous n'avez jamais vu Chat ML, c'est le langage de balisage interne qu'OpenAI a introduit pour organiser les invites de conversation utilisateur-agent. et sont des tokens réservés qui délimitent les messages, et le premier token après identifie le locuteur, soit utilisateur, soit assistant. Juste après assistant, le ve...