HeadlinesBriefing favicon HeadlinesBriefing.com

Ollaya: Modelos de Decisión de Código Abierto en Milisegundos

Hacker News •
×

Haga preguntas tipadas sobre cualquier texto o JSON y obtenga respuestas calibradas en milisegundos. Privado, código abierto, en su propio hardware. Descargar Explorar modelos Salida real: enrutado a laya:en, respondido en 8.9 ms en una RTX 4090.

Rápido Compatible por inmersión Modelos abiertos Sus datos permanecen suyos Plataformas Decisiones rápidas en milisegundos. Un modelo de decisión responde en una sola pasada hacia adelante, sin generación token por token. En su propia GPU, una solicitud de cinco preguntas a Laya toma aproximadamente 10 ms, de extremo a extremo a través de la API HTTP.

Compatible por inmersión Habla la API de Type Safe. Ollaya sirve /v1/systemone y /v1/models con las formas de solicitud y respuesta de Type Safe. El SDK oficial de Type Safe Python 0.7.1 funciona sin cambios contra un servidor local.

Pesos abiertos, listos para extraer. Comience con Laya de Convai Innovations: un modelo en inglés, un modelo de más de 100 idiomas, un modelo ajustado para decisiones tipadas y un enrutador que elige por usted. Privado por defecto. Se ejecuta donde usted trabaja. Póngase en marcha en minutos. Un binario, un comando: ollaya run laya.