HeadlinesBriefing favicon HeadlinesBriefing.com

Laya : Moteur de décision multilingue open source de 33 ms

Hacker News •
×

L'auteur détaille le développement de Laya, un moteur de décision du Système 1 multilingue atteignant une latence de 32,8 ms sur un seul GPU, le positionnant comme une alternative plus rapide et open source aux modèles propriétaires tels que Jev de Type Safe AI. L'auteur revendique un état de l'art antérieur datant de mars 2025 (arXiv:2503.23303), incluant des modèles sur Hugging Face, des jeux de données et un package PyPI, antérieurs au lancement de Type Safe AI en septembre 2026. Fondée par Diogo Almeida, co-inventeur de ChatGPT chez OpenAI, Type Safe AI a introduit RLCD (Apprentissage par renforcement pour des décisions calibrées) à 0,042 $ par million de tokens avec une latence de 150 ms.

Laya résout le goulot d'étranglement lié à l'utilisation de LLM génératifs pour des tâches de classification simples (routage, détection de spam, notation d'urgence), ce qui ajoute de la latence (500–2000 ms), des coûts et un risque d'hallucination. À la place, Laya utilise des encodeurs bidirectionnels pour des sorties de probabilité calibrée instantanées via trois primitives : choice (sélection catégorielle), score (placement sur une règle ordinale) et noul (détection de nul/abstention).

La famille de modèles prend en charge plus de 100 langues, fonctionne à 7,2 ms/question en lot, ne nécessite aucun abonnement API et publie ses poids sous licence Apache 2.0. L'auteur présente Laya comme l'aboutissement de la correction des limites architecturales dans ses travaux antérieurs, passant de trajectoires de vente verticales à des décisions de schéma généralisé horizontal.

Entités clés : Entreprises : Type Safe AI, OpenAI, Hugging Face | Personnes : Diogo Almeida