OpenArch est un dépôt PyTorch offrant des implémentations écrites à la main d'architectures LLM open source modernes, basé sur la Galerie d'Architecture LLM de Sebastian Raschka. Écrites from scratch pour la lisibilité, chaque modèle se trouve dans un seul fichier avec des choix structurels explicites comme le type d'attention, la normalisation et le codage positionnel. L'objectif est la clarté et l'apprentissage, pas la concurrence avec les bibliothèques de production.

Les modèles implémentés incluent Llama, Qwen, DeepSeek, Gemma, GPT-OSS, Kimi et plus encore. Chaque entrée documente sa méthode de normalisation (par exemple RMSNorm, QK-Norm), le codage positionnel (Ro PE), la variante d'attention (par exemple multihead, grouped query, sliding window) et s'il supporte le mélange d'experts. Certains modèles sont marqués comme utilisables pour les passes en avant ; d'autres sont en cours de construction.

Le dépôt est organisé en dossiers texte et multimédia, chaque modèle contenant un model.py et un README.md. Les contributeurs sont bienvenus pour ajouter de nouveaux modèles, rédiger de la documentation ou corriger des bugs. OpenArch privilégie la lisibilité sur les performances et sert de ressource pédagogique pour ceux intéressés par la construction des LLM modernes.