HeadlinesBriefing favicon HeadlinesBriefing.com

Ollaya: Modelos de Decisão Open-Source em Milissegundos

Hacker News •
×

Faça perguntas tipadas sobre qualquer texto ou JSON e obtenha respostas calibradas em milissegundos. Privado, código aberto, no seu próprio hardware. Baixar Navegar modelos Saída real: roteada para laya:en, respondida em 8,9 ms em uma RTX 4090.

Rápido Compatível por imersão Modelos abertos Seus dados permanecem seus Plataformas Decisões rápidas em milissegundos. Um modelo de decisão responde em uma única passagem direta, sem geração token por token. Em sua própria GPU, uma solicitação de cinco perguntas para Laya leva cerca de 10 ms, de ponta a ponta através da API HTTP.

Compatível por imersão Fala a API do Type Safe. Ollaya serve /v1/systemone e /v1/models com as formas de solicitação e resposta do Type Safe. O SDK oficial Type Safe Python 0.7.1 funciona inalterado contra um servidor local.

Pesos abertos, prontos para puxar. Comece com Laya da Convai Innovations: um modelo em inglês, um modelo de 100+ idiomas, um modelo ajustado para decisões tipadas e um roteador que escolhe por você. Privado por padrão. Funciona onde você trabalha. Comece a funcionar em minutos. Um binário, um comando: ollaya run laya.