Type Safe 的 Jev 推出了一种大型语言模型的新玩法，席卷了 AI 世界。据 Vercel 称，“Jev 的采用速度比 AI Gateway 历史上任何其他模型都快。”但乌云正在聚集。OpenAI 无疑正在关注——并决定下一步该怎么做。我祝愿 Type Safe 一切顺利，但如果他们真的兑现了承诺，那么我担心 OpenAI 处于有利位置，可以快速跟进——不仅复制 Jev 的旗舰产品，还将这一能力融入即将推出的模型和智能体中，并提供一些 Jev 无法复制的真正有用的新行为。

多年来，OpenAI 一直将他们的 LLM 用作隐式分类器；只是他们没有为通用分类任务训练它们，也没有将通用分类打包成独立产品。如果 OpenAI 能够复制训练，那么他们就能在短时间内复制 Jev。此外，OpenAI 处于有利位置，可以在其现有模型和智能体中使用这个新分类器，这对于快速模型选择、更高效的思考、更好的安全护栏以及总体上更智能、更快速、更便宜的模型都很有用。

决定这一切的关键因素是 Type Safe 是否拥有护城河。我看到的最大护城河在于 Type Safe 的训练数据和训练流程。我的主要假设是 Jev 使用的是非常接近传统大型语言模型的东西。作为证据，Latent Space 报道称许多早期克隆确实基于 LLM。给定一个状态和一组问题，Jev 的 LLM 生成单个 token，或者更准确地说，生成所有可能的下一个 token 的概率分布。然后，在那一步中每个可能 token 相关的 logprobs 被处理成 Jev 需要返回的任何格式。对于 noul 问题，Jev 只看两个 token，true 和 false，忽略其他一切，并将它们的概率归一化为答案为 true 的单一概率。对于选择问题，Jev 可以用一个可能性列表来提示，它查看这些 token 的相对概率来构建完整分布，选择最高的作为获胜者。选择模式几乎就是我在 2025 年博客文章《用 Logprobs 增强 LLM 分类》中所写的内容，即使没有微调，它也已经显示出前景。我还没有深入思考 score 原语，但我怀疑它是同一模式的变体。本文部分前提是 OpenAI 可能准备迅速利用这一想法，如果你理解如何利用，这一点会变得更清晰。至少从引入工具调用以来，OpenAI 一直在隐式地将大型语言模型用作专用分类器。早在 2024 年初，我写了《工具调用——展示 GPT 灵活性的奇迹》，在那里我诱导 GPT 模型揭示它如何决定调用工具。以下是聊天会话内部的样貌。这里有一条用户消息，然后是没有工具调用的助手响应，接着是带有工具调用的用户消息：我用颜色编码了文本以指示 token 边界。如果你没见过 Chat ML，它是 OpenAI 引入的内部标记语言，用于组织用户-智能体对话提示。和 是保留 token，用于分隔消息， 之后的第一个 token 标识说话者，是用户还是助手。就在 assistant 之后，ve...