Der Autor beschreibt die Entwicklung von Laya, einem mehrsprachigen System 1 Entscheidungs-Engine, der auf einer einzelnen GPU eine Latenz von 32,8 ms erreicht und sich als schnellere, Open-Source-Alternative zu proprietären Modellen wie Jev von Type Safe AI positioniert. Der Autor behauptet, dass Prior Art bis März 2025 (arXiv:2503.23303) zurückreicht, einschließlich Modellen auf Hugging Face, Datensätzen und einem PyPI-Paket, das vor der Einführung von Type Safe AI im September 2026 liegt. Gegründet von Diogo Almeida, einem Mit-Erfinder von ChatGPT bei OpenAI, führte Type Safe AI RLCD (Reinforcement Learning für kalibrierte Entscheidungen) zum Preis von $0,042 pro Million Token mit einer Latenz von 150 ms ein.

Laya adressiert den Engpass bei der Verwendung generativer LLMs für einfache Klassifizierungsaufgaben (Routing, Spam-Erkennung, Dringlichkeitsbewertung), was zu Latenz (500–2000 ms), Kosten und Halluzinationsrisiko führt. Stattdessen verwendet Laya bidirektionale Encoder für sofortige, kalibrierte Wahrscheinlichkeitsausgaben über drei Primitiven: choice (kategoriale Auswahl), score (Platzierung nach ordinaler Rubrik) und noul (Null-/Enthaltungserkennung).

Die Modellfamilie unterstützt mehr als 100 Sprachen, arbeitet mit 7,2 ms/Frage im Batched-Modus, benötigt kein API-Abonnement und veröffentlicht die Gewichte unter der Apache 2.0 Lizenz. Der Autor stellt Laya als Abschluss der Behebung architektonischer Einschränkungen in früheren Arbeiten dar, indem er von vertikalen Verkaufsverläufen zu horizontalen, generalisierten Schemadescheidungen übergeht.

Wichtige Entitäten: Unternehmen: Type Safe AI, OpenAI, Hugging Face | Personen: Diogo Almeida