HeadlinesBriefing favicon HeadlinesBriefing.com

Ollaya:ミリ秒単位のオープンソース意思決定モデル

Hacker News •
×

任意のテキストやJSONについて型付きの質問をし、ミリ秒単位で調整された回答を取得します。プライベート、オープンソース、独自のハードウェア上で。ダウンロード モデルを閲覧 実際の出力:laya:enにルーティングされ、RTX 4090上で8.9 msで応答。

高速 ドロップイン互換 オープンモデル あなたのデータはあなたのもの プラットフォーム ミリ秒単位の高速意思決定。意思決定モデルは単一のフォワードパスで応答し、トークン単位の生成は行いません。独自のGPU上で、Layaへの5つの質問リクエストは、HTTP APIを介してエンドツーエンドで約10 msかかります。

ドロップイン互換 Type SafeのAPIと通信。OllayaはType Safeのリクエストとレスポンスの形式で/v1/systemoneと/v1/modelsを提供します。公式のType Safe Python SDK 0.7.1は、ローカルサーバーに対して変更なしで動作します。

オープンウェイト、プル準備完了。Convai InnovationsのLayaから始めましょう:英語モデル、100以上の言語モデル、型付き意思決定用にファインチューニングされたモデル、そしてあなたのために選択するルーター。デフォルトでプライベート。あなたが働く場所で実行。数分で起動。1つのバイナリ、1つのコマンド:ollaya run laya。