Qwen3.8-27B läuft auf der Neural Engine des iPhone 18 mit Geschwindigkeiten von 15 bis 70 Token pro Sekunde und nutzt dabei 1,5 Bit pro Gewicht. Das Modell verarbeitet Eingaben mit 1,5 Bit pro Gewicht, was eine effiziente Inferenz direkt auf dem Gerät ermöglicht. Diese Entwicklung markiert einen bedeutenden Schritt für die Leistungsfähigkeit mobiler KI, indem sie fortschrittliche Sprachmodelle auf die Hardware von Smartphones bringt.
Die Leistungsdaten deuten darauf hin, dass die Neural Engine von Apple groß angelegte KI-Workloads mit bemerkenswerter Effizienz bewältigen kann. Branchenbeobachter weisen auf die Auswirkungen für Edge Computing und datenschutzfreundliche KI-Anwendungen hin. Der Erfolg zeigt die zunehmende Verschmelzung von mobilem Chipdesign und anspruchsvollen Modellen des maschinellen Lernens.
Mögliche Anwendungsfälle umfassen Echtzeit-Übersetzung, die Erzeugung von Inhalten auf dem Gerät und erweiterte Siri-Funktionen. Die Benchmark-Ergebnisse schneiden im Vergleich zu früheren mobilen KI-Versuchen günstig ab, was auf eine Reifung des Feldes hindeutet.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing