Hallo Hacker News, hier sind Anders und Tom. Wir bauen Magnitude, eine Inferenz-Engine für Agenten, die sich selbst optimiert, um auf Ihrer Hardware so schnell wie möglich zu laufen. Sie funktioniert auf Mac, Linux und Windows auf jeder Hardware und ist bis zu 2x schneller als llama.cpp.
Wir sind beide Softwareentwickler und haben zuvor einen Open-Source-Browser-Agenten mit über 4.000 GitHub-Sternen und über 100.000 Downloads gebaut. Wir wollten ihn zunehmend auf lokalen Modellen ausführen, stellten jedoch fest, dass keine Inferenz-Engine für unseren Anwendungsfall funktionierte. Heutige Inferenz-Engines gehen alle einen Leistungskompromiss ein.
Magnitude ist für maximale Leistung auf Ihrer Hardware und für die Ausführung lokaler Agenten gebaut: On-Device-Kompilierung und -Tuning, Fokus auf beste Architekturen, dynamische Speicherzuweisung und hybride Paged Attention. Magnitude ist vollständig Open Source (Apache 2.0). Wir haben es in Rust gebaut, einschließlich einer benutzerdefinierten GPU-Kernel-Laufzeit und Autotuner.
Im Vergleich zu llama.cpp mit Qwen 3.6 35B A3B (4 Bit), 64k-Kontext, ohne spekulative Dekodierung: Metal (Mac M4 Pro 48 GB) - 92% schnellere Dekodierung (30 tok/s → 57 tok/s), CUDA (DGX Spark) - 19% schnellere Dekodierung (49 tok/s → 58 tok/s). Magnitude wird als Desktop-App geliefert, die Sie einfach mit beliebigen Agenten verbinden können, die Sie bereits verwenden.
Wichtige Entitäten: Unternehmen: magnitudedev, GitHub, Hacker News | Personen: Anders, Tom
Häufig gestellte Fragen: Was ist Magnitude?
Magnitude ist eine Open-Source-Inferenz-Engine für Agenten, die sich für Ihre genaue Hardware optimiert und auf Apple Silicon, NVIDIA, AMD oder CPU bis zu 2x schnellere Leistung als llama.cpp bietet.
FAQ Q: Was ist Magnitude?
FAQ A: Magnitude ist eine Open-Source-Inferenz-Engine für Agenten, die sich für Ihre genaue Hardware optimiert und auf Apple Silicon, NVIDIA, AMD oder CPU bis zu 2x schnellere Leistung als llama.cpp bietet.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing