OpenArch ist ein PyTorch-Repository, das handgeschriebene Implementierungen moderner Open-Source-LLM-Architekturen bietet, basierend auf der LLM Architecture Gallery von Sebastian Raschka. Von Grund auf für die Lesbarkeit geschrieben, befindet sich jedes Modell in einer einzelnen Datei mit expliziten strukturellen Entscheidungen wie Aufmerksamkeitsart, Normalisierung und Positionskodierung. Das Ziel ist Klarheit und Lernen, nicht Wettbewerb mit Produktionsbibliotheken.

Implementierte Modelle umfassen Llama, Qwen, DeepSeek, Gemma, GPT-OSS, Kimi und mehr. Jeder Eintrag dokumentiert seine Normalisierungsmethode (z. B. RMSNorm, QK-Norm), Positionskodierung (Ro PE), Aufmerksamkeitsvariante (z. B. Multihead, Grouped Query, Sliding Window) und ob Mischung aus Experten unterstützt wird. Einige Modelle sind als für Forward-Pässe nutzbar markiert; andere befinden sich in der Entwicklung.

Das Repository ist in Text- und Multimodalfolder organisiert, wobei jedes Modell eine model.py und README.md enthält. Beiträge sind willkommen, um neue Modelle hinzuzufügen, Dokumentation zu schreiben oder Fehler zu beheben. OpenArch priorisiert die Lesbarkeit über die Leistung und dient als Lernressource für diejenigen, die verstehen möchten, wie moderne LLMs gebaut werden.