HeadlinesBriefing favicon HeadlinesBriefing.com

Ollaya: Open-Source-Entscheidungsmodelle in Millisekunden

Hacker News •
×

Stellen Sie getippte Fragen zu beliebigem Text oder JSON und erhalten Sie kalibrierte Antworten in Millisekunden. Privat, Open Source, auf Ihrer eigenen Hardware. Herunterladen Modelle durchsuchen Echte Ausgabe: an laya:en weitergeleitet, in 8,9 ms auf einer RTX 4090 beantwortet.

Schnell Drop-in-kompatibel Offene Modelle Ihre Daten bleiben Ihre Plattformen Schnelle Entscheidungen in Millisekunden. Ein Entscheidungsmodell antwortet in einem einzigen Vorwärtspass, ohne Token-für-Token-Generierung. Auf Ihrer eigenen GPU dauert eine Fünf-Fragen-Anfrage an Laya etwa 10 ms, Ende-zu-Ende über die HTTP-API.

Drop-in-kompatibel Spricht die API von Type Safe. Ollaya bedient /v1/systemone und /v1/models mit den Anfrage- und Antwortformen von Type Safe. Das offizielle Type Safe Python SDK 0.7.1 funktioniert unverändert gegen einen lokalen Server.

Offene Gewichte, bereit zum Ziehen. Beginnen Sie mit Laya von Convai Innovations: einem englischen Modell, einem Modell für 100+ Sprachen, einem für getippte Entscheidungen feinabgestimmten Modell und einem Router, der für Sie auswählt. Standardmäßig privat. Läuft dort, wo Sie arbeiten. In Minuten einsatzbereit. Eine Binärdatei, ein Befehl: ollaya run laya.