OpenArch es un repositorio de PyTorch que ofrece implementaciones escritas a mano de arquitecturas LLM de código abierto modernas, basado en la Galería de Arquitectura LLM de Sebastian Raschka. Escritas desde cero para su legibilidad, cada modelo reside en un solo archivo con decisiones estructurales explícitas como tipo de atención, normalización y codificación posicional. El objetivo es la claridad y el aprendizaje, no competir con bibliotecas de producción.

Los modelos implementados incluyen Llama, Qwen, DeepSeek, Gemma, GPT-OSS, Kimi y más. Cada entrada documenta su método de normalización (por ejemplo, RMSNorm, QK-Norm), codificación posicional (Ro PE), variante de atención (por ejemplo, multihead, grouped query, sliding window) y si admite mezcla de expertos. Algunos modelos están marcados como utilizables para pasadas hacia adelante; otros están en construcción.

El repositorio está organizado en carpetas de texto y multimodal, con cada modelo conteniendo un model.py y README.md. Se bienvenen los contribuyentes que agreguen nuevos modelos, escriban documentación o corrijan errores. OpenArch prioriza la legibilidad sobre el rendimiento y sirve como recurso de aprendizaje para aquellos interesados en cómo se construyen los LLM modernos.