Type SafeのJevは、AI界を席巻した大規模言語モデルの新しい展開を導入しました。Vercelによると、「JevはAI Gatewayの歴史の中で他のどのモデルよりも速く採用されました」。しかし、雲が形成されています。OpenAIは間違いなく注目しており、次に何をすべきかを決定しています。Type Safeの成功を願っていますが、もし彼らが本当に約束を果たすなら、OpenAIが迅速に追随する立場にあることを懸念しています。それはJevの主力製品を複製するだけでなく、その能力を今後のモデルやエージェントに組み込み、Jevが再現できない本当に有用な新しい動作を提供することです。

OpenAIは何年もの間、LLMを暗黙の分類器として使用してきました。ただ、汎用分類タスク用にトレーニングしておらず、汎用分類をスタンドアロン製品としてパッケージ化していません。OpenAIがトレーニングを再現できれば、すぐにJevを再現できるでしょう。さらに、OpenAIはこの新しい分類器を既存のモデルやエージェント内で使用する立場にあり、迅速なモデル選択、より効率的な思考、より良いセキュリティガードレール、そして一般的によりスマートで高速かつ安価なモデルに役立ちます。

これを決定する鍵となる要素は、Type Safeに堀があるかどうかです。私が見る最大の堀は、Type Safeのトレーニングデータとトレーニングプロセスにあります。私の主な仮定は、Jevが従来の大規模言語モデルにかなり近いものを使用しているということです。証拠として、Latent Spaceは初期のクローンの多くが実際にLLMベースであると報告しています。状態と一連の質問が与えられると、JevのLLMは単一のトークンを生成するか、より正確には、すべての可能な次のトークンに対する確率分布を生成します。その1ステップで各可能なトークンに関連するlogprobsは、Jevが返す必要のある形式に加工されます。noulの質問では、Jevはtrueとfalseの2つのトークンだけを見て、他はすべて無視し、それらの確率を答えがtrueである単一の確率に正規化します。選択の質問では、Jevは可能性のリストでプロンプトされ、それらのトークンの相対確率を見て完全な分布を構築し、最高のものを勝者として選択します。選択パターンは、私が2025年にSupercharging LLM Classifications with Logprobsでブログに書いたものとほぼ同じで、微調整なしでもすでに有望でした。scoreプリミティブについては深く考えていませんが、同じパターンの変種だと思います。この投稿の前提の一部は、OpenAIがこのアイデアを迅速に活用する準備ができているかもしれないということであり、その方法を理解すればより明確になります。OpenAIは少なくともツール呼び出しの導入以来、大規模言語モデルを暗黙的に専門分類器として使用してきました。2024年初頭に私はTool Invocation – Demonstrating the Marvel of GPT's Flexibilityを書き、そこでGPTモデルを誘導してツールを呼び出す決定方法を明らかにさせました。以下はチャットセッションの内部の様子です。ここにユーザーメッセージがあり、次にツール呼び出しなしのアシスタント応答があり、その後にツール呼び出し付きのユーザーメッセージが続きます。トークン境界を示すためにテキストを色分けしました。Chat MLを見たことがないなら、それはOpenAIがユーザーエージェント会話プロンプトを整理するために導入した内部マークアップ言語です。と はメッセージを区切る予約トークンで、 の後の最初のトークンは話者を識別し、ユーザーかアシスタントのどちらかです。assistantの直後に、ve...