HeadlinesBriefing favicon HeadlinesBriefing.com

Experiential、GitHubでオープンソースAIモデルゲートウェイ公開

Hacker News •
×

Experiential Labsは、GitHubでオープンソースのモデルゲートウェイをリリースしました。これは、クローズド、オープンソース、ローカル、カスタムモデルのための単一のコントロールプレーンを提供します。並行処理のためにRustで構築されており、ストリーミング形式、ツール呼び出し、モデルパラメータ、レート制限、エラー動作をプロバイダー間で標準化します。

このゲートウェイは、主要な推論プロバイダーすべてと1000以上のモデルをサポートしており、プルリクエストを開くcodexエージェントによって毎日更新されます。BYOKリクエストでは1ミリ秒未満、Experientialがプロバイダーキーを提供する場合は2ミリ秒未満のオーバーヘッドしか追加しません。ユーザーは独自のインフラストラクチャにデプロイするか、platform.experientiallabs.aiでホスト版をゼロマークアップで利用できます。

競合他社とは異なり、Experientialはオープンソースであり、マークアップを取らず、ローカルモデルとマーケットプレイスのモデルを組み合わせることができ、オプトインした本番トラフィックからカスタムモデルを訓練できます。ルーティング決定には、標準化されたOTelトレース、テキストワールドモデルによるシミュレートされたロールアウト、LLMジャッジ、プロンプト埋め込みへの最近傍分類器を使用します。このアプローチは、単一モデル呼び出しよりも優れたコスト/品質のパレート曲線を実現し、キャッシュヒット最適化と新しいモデルの提案も可能にします。

ホスト型プラットフォームは、https://api.experientiallabs.ai/v1でOpenAI互換APIとAnthropic Messages APIの両方を提供し、オンボーディングプロンプトはClaude Code、Cursor、Codex、Aider、および同様のコーディングエージェントをサポートしています。

主要エンティティ: 企業: Experiential Labs、GitHub、OpenAI、Anthropic、Gemini、Azure、Bedrock、Fireworks、Open Router