OpenArch é um repositório PyTorch que oferece implementações manuais de arquiteturas LLM de código aberto modernas, baseado na Galeria de Arquitetura LLM de Sebastian Raschka. Escritas do zero para legibilidade, cada modelo reside em um único arquivo com escolhas estruturais explícitas como tipo de atenção, normalização e codificação posicional. O objetivo é a clareza e o aprendizado, não competir com bibliotecas de produção.

Os modelos implementados incluem Llama, Qwen, DeepSeek, Gemma, GPT-OSS, Kimi e mais. Cada entrada documenta seu método de normalização (por exemplo, RMSNorm, QK-Norm), codificação posicional (Ro PE), variante de atenção (por exemplo, multihead, grouped query, sliding window) e se suporta mistura de especialistas. Alguns modelos são marcados como utilizáveis para passagens para frente; outros estão em construção.

O repositório é organizado em pastas de texto e multimodal, com cada modelo contendo um model.py e README.md. Contribuidores são bem-vindos para adicionar novos modelos, escrever documentação ou corrigir bugs. OpenArch prioriza a legibilidade sobre o desempenho e serve como recurso de aprendizado para aqueles interessados em como os LLMs modernos são construídos.