Laut AppleInsider können Besitzer eines Intel Mac Pro mit AMD-Grafikkarten weiterhin lokale KI-Projekte ausführen. Das ToshLLM-Projekt gibt an, native Metal-Beschleunigung, null Cloud-Abhängigkeit und keine Abrechnung pro Token zu bieten.
Nach eigener Aussage des Projekts arbeitet es ohne die Übermittlung von Daten an entfernte Server und ohne die Nutzungsgebühren, die viele Cloud-KI-Dienste verlangen. Die Nutzer behalten ihre Arbeitslasten auf der Hardware, die sie bereits besitzen.
Die Leistung wird neuere Systeme nicht erreichen. Der Artikel weist darauf hin, dass dieses Setup nicht so schnell sein wird wie ein Mac Studio mit M5 Ultra, dafür aber ältere Hardware lokale KI-Aufgaben übernehmen lässt, statt ungenutzt zu bleiben.
Das ToshLLM-Projekt ist unter toshllm.com verfügbar. Der ursprüngliche Bericht von AppleInsider beschreibt die Einrichtung ausführlicher.
Quelle: AppleInsider · Zusammengefasst von HeadlinesBriefing