ここ数週間、私はgpt-5.6-lunaを試してきました。それは驚くほど有能で、速く、賢いです。私は定期的にそれが約100トークン/秒で動作し、私のコードベース、メール、ナレッジベースを素早く巡回するのを見ます。もちろん、lunaで最も重要なのはコストです。私はかなり複雑な研究スレッドをいくつか実行しようとしましたが、大きな請求額を積み上げるのはかなり難しいです。数千のメールを検索させても、APIコストは数十セントで済みます。GLM 5.3では、パレートフロンティアに新しいオプションもあります。

コーディング作業を行うとき、私はほとんど常に最も高価で有能なモデル（Fable 5、5.6 Sol）に手を伸ばします。そのため、小さくて速いモデルが成し遂げた進歩を見逃しがちでした。私が話したいくつかの投資家が言及したこと：「消費者向けAI企業をもっと見かけないのは奇妙だ。なぜだろう？」それには簡単な答えがあります：トークンコストです。

AI以前の時代、大規模な消費者向けアプリのプレイブックは次のようでした：運営コストがかなり安い魅力的なウェブサイトを作成し、ユーザーを大量に引き付け（通常は何らかのバイラル性を利用）、資金を調達し、より多くのユーザーにスケールし、広告マーケットプレイスを作成する。これは大まかに主要な消費者向け企業（Google、Facebook、Snapchatなど）のほとんどを説明しています。しかし、製品にAIを追加したい場合はどうでしょうか？さて、今や各リクエストに実際の推論コストがかかります！突然、必要な資本の量が劇的に増加します。

私のお気に入りの評価は、毎日のニュースサイトを自分用にパーソナライズして構築することです：インターネットで@calvinfoを調査し、彼らが好きかもしれないニュースを把握し、今日のトップストーリーを載せたマイクロサイトを彼ら用にパーソナライズして構築し、hn、reddit、twitterなどを検索します。以前の世代のモデル（Sonnetクラス）では、どこかに到達するのに約1ドル費やしていました。消費者向けアプリで月額30ドルを請求するのは持続不可能です。ここで最適化できることはたくさんありますが、WSJやThe Economistが請求する金額を請求するなら、同様の価値を提供する方が良いでしょう。しかしlunaを見ると、結果はかなりまともで、平均コストは約0.10ドルです。これで話が始まります！

これがさらに興味深くなるのはビジネスの世界だと思います。私のSegmentの共同創業者であるPeterと私は最近、ハイキングでメモを比較しました。彼のさまざまなスタートアップを通じて、Peterは2種類の仕事を見てきました：「IQ 180」の仕事（ある種の狂った科学者の天才タイプが、あなたが考えたこともない狂った解決策を思いつく）と「トークン吐き出し」の仕事（超反応的であり、数十の異なる戦線でボールを前進させる）。Peterは複数の会社を経営しています。Segment以外にも、Charm Industrialのために1億ドル以上を調達し、最近RevoyのシリーズAをクローズしました。彼は信じられないほど組織的で、時間を効率的に使います。それでもPeterは、彼が行う仕事の約95%がバケツ2に該当すると述べました。それは電話に出たり、人を促したり、ブロックやタックルをしたりすることです。明確に言うと、Peterは彼の会社は今日、深い問題を解決するIQ 180の技術的頭脳なしでは水に沈んでいると言います。ただ彼の仕事のほとんどがバケツ2に該当するだけです。

「フロンティアレベルの」モデルへの需要は今後も増加し続けると思います。特に新規のブレークスルーや発見を必要とする分野（エンジニアリング、ハードサイエンス、モデルトレーニング）では。しかし、「高速/安価/十分に良い」モデルへの需要もまさに離陸しようとしていると思います。毎日交流する人々を考えてみてください：同僚、ベンダー、顧客。10回のうち9回、あなたは超反応的で、単に物事を処理してくれる人を望みます。今日の企業での「人間トークン」のほとんどはこのように使われています—採用は「高速/安価/十分に良い」という原型に大きく傾いています。ビジネスにとって「高速/安価/十分に良い」モデルを現実にするには、多くの作業が必要です：新しいハーネス、プロンプトインジェクションの安全性、役割、権限。しかし、私たちがそれを解決できると確信しています。もしあなたも小規模モデルを有用にすることに実験しているなら、ぜひ連絡してください。AmazonとNetflixは注目すべき例外です。Peterもここで謙虚です；彼は非常に鋭いです。