Laya (OS Jev) demonstriert Echtzeit-KI-Inferenz auf Apple-Silizium und erreicht 45 Entscheidungen pro Sekunde mit Mac M4 CoreML. Dieser Leistungsmeilenstein zeigt das Potenzial von Offline-Großsprachmodellen auf Consumer-Hardware und beseitigt die Notwendigkeit von Cloud-Abhängigkeiten. Der Benchmark hebt die signifikante Optimierung für Apples Neural Engine hervor und ermöglicht reaktionsschnelle KI-Anwendungen direkt auf Desktop-Geräten.

Diese Entwicklung markiert einen Wandel hin zu datenschutzorientierten, lokal verarbeiteten KI-Workflows. Der Erfolg kommt, da große Tech-Unternehmen darum wetteifern, Modelle für On-Device-Ausführung zu optimieren. Layas Erfolg auf M4-Silizium deutet auf einen gangbaren Weg für Entwickler hin, die High-Performance-KI ohne Internetkonnektivitätsanforderungen suchen.