HeadlinesBriefing favicon HeadlinesBriefing.com

Ollaya:毫秒级开源决策模型

Hacker News •
×

对任何文本或JSON提出类型化问题,并在毫秒内获得校准答案。私有、开源,运行在您自己的硬件上。下载浏览模型 实际输出:路由至laya:en,在RTX 4090上以8.9毫秒响应。

快速 即插即用 开放模型 数据由您掌控 平台 毫秒级快速决策。决策模型通过单次前向传递回答问题,无需逐令牌生成。在您自己的GPU上,向Laya发起五个问题的请求通过HTTP API端到端大约需要10毫秒。

即插即用 兼容Type Safe的API。Ollaya提供/v1/systemone和/v1/models端点,使用Type Safe的请求和响应格式。官方Type Safe Python SDK 0.7.1可直接用于本地服务器。

开放权重,随时拉取。从Convai Innovations的Laya开始:一个英文模型、一个支持100+语言的模型、一个专为类型化决策微调的模型,以及一个为您选择的路由器。默认私有。在您工作的地方运行。几分钟内即可启动运行。一个二进制文件,一条命令:ollaya run laya。