Автор подробно описывает разработку Лая, мультиязычного движка принятия решений типа System 1, достигающего задержки 32,8 мс на одном GPU, позиционируя его как более быструю и открытую альтернативу проприетарным моделям, таким как Jev от Type Safe AI. Автор заявляет о наличии предшествующего уровня техники, датируемого мартом 2025 года (arXiv:2503.23303), включая модели на Hugging Face, наборы данных и пакет PyPI, предшествующие запуску Type Safe AI в сентябре 2026 года. Основанная Диого Алмейда, соизобретателем ChatGPT в OpenAI, компания Type Safe AI представила RLCD (Обучение с подкреплением для калиброванных решений) по цене $0,042 за миллион токенов с задержкой 150 мс.

Лая устраняет узкое место использования генеративных LLM для простых задач классификации (маршрутизация, обнаружение спама, оценка срочности), что добавляет задержку (500–2000 мс), стоимость и риск галлюцинаций. Вместо этого Лая использует двунаправленные энкодеры для мгновенного вывода калиброванных вероятностей через три примитива: choice (категориальный выбор), score (размещение по порядковой шкале) и noul (обнаружение нуля/воздержания).

Семейство моделей поддерживает более 100 языков, работает со скоростью 7,2 мс/вопрос в пакетном режиме, не требует подписки на API и выпускает веса под лицензией Apache 2.0. Автор позиционирует Лая как завершение исправления архитектурных ограничений в предыдущих работах, переход от вертикальных траекторий продаж к горизонтальным обобщенным схемам принятия решений.

Ключевые сущности: Компании: Type Safe AI, OpenAI, Hugging Face | Люди: Диogo Алмейда