El Jev de Type Safe introdujo una nueva versión de los modelos de lenguaje grandes que ha tomado por asalto el mundo de la IA. Según Vercel, "Jev fue adoptado más rápido que cualquier otro modelo en la historia de AI Gateway". Pero se están formando nubes. OpenAI sin duda está prestando atención, y decidiendo qué hacer a continuación. Deseo lo mejor para Type Safe, pero si realmente cumplen sus promesas, me preocupa que OpenAI esté bien posicionada para seguir rápidamente, no solo para replicar el producto estrella de Jev, sino también para incorporar esa capacidad en los próximos modelos y agentes y ofrecer un comportamiento nuevo realmente útil que Jev no está en posición de reproducir.

Durante años, OpenAI ha utilizado sus LLM como clasificadores implícitos; simplemente no los han entrenado para tareas de clasificación general y no han empaquetado la clasificación general como un producto independiente. Si OpenAI puede replicar el entrenamiento, podrá replicar Jev en poco tiempo. Además, OpenAI está posicionada para usar este nuevo clasificador dentro de sus modelos y agentes existentes, lo que puede ser útil para la selección rápida de modelos, un pensamiento más eficiente, mejores barreras de seguridad y modelos generalmente más inteligentes, rápidos y baratos.

El factor clave que decide todo esto es si Type Safe tiene o no un foso. El mayor foso que veo está en los datos y procesos de entrenamiento de Type Safe. Mi principal suposición es que Jev está usando algo bastante cercano a un modelo de lenguaje grande convencional. Como evidencia, Latent Space informa que muchos de los primeros clones son de hecho basados en LLM. Dado un estado y un conjunto de preguntas, el LLM de Jev genera un solo token o, más precisamente, genera la distribución de probabilidad sobre todos los posibles tokens siguientes. Los logprobs asociados con cada token posible en ese paso se manipulan luego al formato que Jev necesite devolver. Para una pregunta noul, Jev mira solo dos tokens, true y false, ignora todo lo demás y normaliza sus probabilidades en una única probabilidad de que la respuesta sea true. Para una pregunta de elección, se puede indicar a Jev una lista de posibilidades y mira las probabilidades relativas de esos tokens para construir la distribución completa, seleccionando la más alta como ganadora. El patrón de elección es prácticamente lo que publiqué en mi blog allá por 2025 en Supercharging LLM Classifications with Logprobs, e incluso sin ajuste fino ya mostraba promesa. No he pensado mucho en la primitiva score, pero sospecho que es una variante del mismo patrón. Parte de la premisa de esta publicación es que OpenAI podría estar lista para aprovechar rápidamente esta idea, y esto se vuelve más claro si entiendes cómo. OpenAI ha estado usando modelos de lenguaje grandes implícitamente como clasificadores especializados al menos desde la introducción del llamado a herramientas. A principios de 2024 escribí Tool Invocation – Demonstrating the Marvel of GPT's Flexibility, donde persuadí a un modelo GPT para que revelara exactamente cómo decide llamar a una herramienta. Lo siguiente es cómo se ve una sesión de chat internamente. Aquí hay un mensaje de usuario, luego una respuesta del asistente sin llamada a herramienta seguida de un mensaje de usuario con una llamada a herramienta: He codificado con colores el texto para indicar los límites de los tokens. Si no has visto Chat ML antes, es el lenguaje de marcado interno que OpenAI introdujo para organizar las indicaciones de conversación usuario-agente. y son tokens reservados que delimitan los mensajes, y el primer token después de identifica al hablante, ya sea usuario o asistente. Justo después de assistant, el ve...