OpenAIが決定用エンドポイントを発表したばかりで、Cloudflareも先頃Clefを公開しました。jevの代替も続々と登場しています。人気の選択肢を比較するため、Opper AIチームは素早い意思決定を測る簡単なベンチマークとしてPac-Manで検証することにしました。
チームは、jev 1.13、kev、clef、clef flash、GPT-6 Luna、Layaに、古典的なボットのゴーストと対戦させてPac-Manをプレイさせました。これらのモデルは低遅延のため、リアルタイムでのプレイが可能です。各モデルは100ゲームを行い、結果はリーダーボードで公開されました。リポジトリはオープンソースなので、誰でも自分のモデルを動かしてランキングに参加できます。
1ゲームの費用は約2セントで、すべてのモデルはチームのスタートアップであるOpperを通じて動作しています。訪問者は自らPac-Manとしてプレイすることもでき、ゴーストはモデルの組み合わせやjevなどの単一モデルで操作されます。誰もが試せるように無料クレジットも提供されています。
ホスト型、ファインチューニング済み、ノートPC上で動作するものを問わず、HTTPエンドポイントの背後にあるモデルなら参加できます。すべてのゲームは記録され、正確に再生できるため、結果を検証可能です。スコアは95%の誤差範囲付きの平均で算出され、現在の首位であるjev 1.13が最高スコアを保持しています。チームはコミュニティからのフィードバックを求めています。
出典: Hacker News · 要約：HeadlinesBriefing