HeadlinesBriefing favicon HeadlinesBriefing.com

Ollaya : Modèles de Décision Open-Source en Millisecondes

Hacker News •
×

Posez des questions typées sur n'importe quel texte ou JSON et obtenez des réponses calibrées en millisecondes. Privé, open-source, sur votre propre matériel. Télécharger Parcourir les modèles Sortie réelle : routée vers laya:en, répondue en 8,9 ms sur une RTX 4090.

Rapide Compatible par insertion Modèles ouverts Vos données restent vôtres Plateformes Décisions rapides en millisecondes. Un modèle de décision répond en une seule passe avant, sans génération token par token. Sur votre propre GPU, une requête de cinq questions à Laya prend environ 10 ms, de bout en bout via l'API HTTP.

Compatible par insertion Parle l'API de Type Safe. Ollaya sert /v1/systemone et /v1/models avec les formes de requête et de réponse de Type Safe. Le SDK officiel Type Safe Python 0.7.1 fonctionne inchangé contre un serveur local.

Poids ouverts, prêts à être tirés. Commencez avec Laya de Convai Innovations : un modèle anglais, un modèle de 100+ langues, un modèle affiné pour les décisions typées, et un routeur qui choisit pour vous. Privé par défaut. Fonctionne là où vous travaillez. Mettez-vous en route en quelques minutes. Un binaire, une commande : ollaya run laya.