HeadlinesBriefing favicon HeadlinesBriefing.com

Ollaya: Модели принятия решений с открытым исходным кодом за миллисекунды

Hacker News •
×

Задавайте типизированные вопросы о любом тексте или JSON и получайте калиброванные ответы за миллисекунды. Частный, открытый исходный код, на вашем собственном оборудовании. Скачать Просмотр моделей Реальный вывод: направлен на laya:en, ответ получен за 8,9 мс на RTX 4090.

Быстро Взаимозаменяемо Открытые модели Ваши данные остаются вашими Платформы Быстрые решения за миллисекунды. Модель принятия решений отвечает за один прямой проход, без генерации токен за токеном. На вашем собственном GPU запрос из пяти вопросов к Laya занимает около 10 мс от начала до конца через HTTP API.

Взаимозаменяемо Говорит на API Type Safe. Ollaya обслуживает /v1/systemone и /v1/models с формами запросов и ответов Type Safe. Официальный Type Safe Python SDK 0.7.1 работает без изменений с локальным сервером.

Открытые веса, готовые к загрузке. Начните с Laya от Convai Innovations: английская модель, модель на 100+ языков, модель, точно настроенная для типизированных решений, и маршрутизатор, который выбирает за вас. Частный по умолчанию. Работает там, где вы работаете. Запуститесь за минуты. Один бинарный файл, одна команда: ollaya run laya.