O Jev da Type Safe introduziu uma nova abordagem aos grandes modelos de linguagem que tomou de assalto o mundo da IA. De acordo com a Vercel, "o Jev foi adotado mais rapidamente do que qualquer outro modelo na história do AI Gateway." Mas nuvens estão se formando. A OpenAI sem dúvida está prestando atenção – e decidindo o que fazer a seguir. Desejo tudo de melhor para a Type Safe, mas se eles realmente cumprirem suas promessas, então estou preocupado que a OpenAI esteja bem posicionada para seguir rapidamente – não apenas para replicar o produto principal do Jev, mas também para incorporar essa capacidade nos próximos modelos e agentes e oferecer um comportamento novo realmente útil que o Jev não está posicionado para reproduzir.

A OpenAI há anos usa seus LLMs como classificadores implícitos; eles apenas não os treinaram para tarefas de classificação geral e não empacotaram a classificação geral como um produto autônomo. Se a OpenAI conseguir replicar o treinamento, então poderá replicar o Jev em pouco tempo. Além disso, a OpenAI está posicionada para usar esse novo classificador dentro de seus modelos e agentes existentes, o que pode ser útil para seleção rápida de modelos, pensamento mais eficiente, melhores barreiras de segurança e modelos geralmente mais inteligentes, rápidos e baratos.

O fator chave que decide tudo isso é se a Type Safe tem ou não um fosso. O maior fosso que vejo está nos dados e processos de treinamento da Type Safe. Minha principal suposição é que o Jev está usando algo bastante próximo de um grande modelo de linguagem convencional. Como evidência, o Latent Space relata que muitos dos primeiros clones são de fato baseados em LLM. Dado um estado e um conjunto de perguntas, o LLM do Jev gera um único token ou, mais precisamente, gera a distribuição de probabilidade sobre todos os próximos tokens possíveis. Os logprobs associados a cada token possível nessa etapa são então transformados no formato que o Jev precisa retornar. Para uma pergunta noul, o Jev olha apenas dois tokens, true e false, ignora todo o resto e normaliza suas probabilidades em uma única probabilidade de que a resposta seja true. Para uma pergunta de escolha, o Jev pode ser solicitado com uma lista de possibilidades e ele olha as probabilidades relativas desses tokens para construir a distribuição completa, selecionando a mais alta como vencedora. O padrão de escolha é praticamente o que eu bloguei em 2025 em Supercharging LLM Classifications with Logprobs, e mesmo sem ajuste fino já mostrava promessa. Não pensei muito sobre a primitiva score, mas suspeito que seja uma variante do mesmo padrão. Parte da premissa deste post é que a OpenAI pode estar pronta para aproveitar rapidamente essa ideia, e isso fica mais claro se você entender como. A OpenAI vem usando grandes modelos de linguagem implicitamente como classificadores especializados pelo menos desde a introdução da chamada de ferramentas. No início de 2024, escrevi Tool Invocation – Demonstrating the Marvel of GPT's Flexibility, onde convenci um modelo GPT a revelar exatamente como decide chamar uma ferramenta. O seguinte é como uma sessão de chat se parece internamente. Aqui há uma mensagem de usuário, depois uma resposta do assistente sem chamada de ferramenta seguida por uma mensagem de usuário com uma chamada de ferramenta: Codifiquei o texto com cores para indicar os limites dos tokens. Se você nunca viu o Chat ML antes, é a linguagem de marcação interna que a OpenAI introduziu para organizar os prompts de conversa usuário-agente. e são tokens reservados que delimitam as mensagens, e o primeiro token após identifica o falante, seja usuário ou assistente. Logo após assistant, o ve...