OpenArch adalah repositori PyTorch yang menawarkan implementasi ditulis tangan untuk arsitektur LLM open source modern, berdasarkan Galeri Arsitektur LLM dari Sebastian Raschka. Ditulis dari awal untuk kemudahan pembacaan, setiap model berada dalam satu berkas dengan pilihan struktural yang eksplisit seperti jenis perhatian, normalisasi, dan encoding posisi. Tujuannya adalah kejelasan dan pembelajaran, bukan bersaing dengan perpustakaan produksi.

Model yang diimplementasikan meliputi Llama, Qwen, DeepSeek, Gemma, GPT-OSS, Kimi, dan lainnya. Setiap entri mendokumentasikan metode normalisasinya (misalnya RMSNorm, QK-Norm), encoding posisi (Ro PE), varian perhatian (misalnya multihead, grouped query, sliding window), dan apakah mendukung mixture of experts. Beberapa model ditandai dapat digunakan untuk forward passes; yang lain masih dalam proses pembangunan.

Repositori dioorganisir ke dalam folder teks dan multimodal, dengan setiap model berisi model.py dan README.md. Contributor diwelcome untuk menambahkan model baru, menulis dokumentasi, atau memperbaiki bug. OpenArch memprioritaskan kemudahan pembacaan atas performa dan berfungsi sebagai sumber belajar bagi yang ingin tahu cara membangun LLM modern.