HeadlinesBriefing favicon HeadlinesBriefing.com

Laya:33毫秒开源多语言决策引擎

Hacker News •
×

作者详细介绍了 Laya 的开发,这是一个多语言系统 1 决策引擎,在单个 GPU 上实现了 32.8 毫秒 的延迟,将其定位为比专有模型如 Type Safe AIJev 更快、开源的替代方案。作者声称其先前技术可追溯至 2025 年 3 月(arXiv:2503.23303),包括在 Hugging Face 上的模型、数据集和 PyPI 包,早于 Type Safe AI 在 2026 年 9 月的发布。由 Diogo Almeida 创立,他在 OpenAI 担任 ChatGPT 共同发明人,Type Safe AI 推出了 RLCD(用于校准决策的强化学习),每百万标记成本为 0.042 美元,延迟为 150 毫秒

Laya 解决了在简单分类任务(路由、垃圾邮件检测、紧急程度评分)中使用生成式 LLM 带来的瓶颈,这会增加延迟(500–2000 毫秒)、成本和幻觉风险。相反,Laya 使用双向编码器通过三种原语实现即时、校准的概率输出:choice(分类选择)、score(有序规则放置)和 noul(空值/弃用检测)。

该模型族支持 超过 100 种语言,批处理时每问题仅需 7.2 毫秒,无需 API 订阅,并在 Apache 2.0 下发布权重。作者将 Laya 描述为修正先前工作中架构局限性的集大成者,从垂直销售轨迹转向水平、广义的模式决策。

关键实体:公司:Type Safe AI, OpenAI, Hugging Face | 人物:Diogo Almeida