OpenArch — это репозиторий PyTorch, предлагающий ручные реализации современных архитектур LLM открытого исходного кода, основанный на Галерее архитектур LLM Себастьяна Рашкы. Написаны с нуля для читаемости, каждая модель находится в одном файле с явными структурными предпочтениями, такими как тип внимания, нормализация и позиционное кодирование. Цель — ясность и обучение, а не конкуренция с библиотеками производства.

Внедренные модели включают Llama, Qwen, DeepSeek, Gemma, GPT-OSS, Kimi и другие. Каждая запись документирует метод нормализации (например, RMSNorm, QK-Norm), позиционное кодирование (Ro PE), вариант внимания (например, multihead, grouped query, sliding window) и поддерживает ли смешанную экспертизу. Некоторые модели отмечены как пригодные для прямых проходов; другие находятся в стадии разработки.

Репозиторий организован в папки текста и мультимодиальные, каждая модель содержит model.py и README.md. Приветствуются участники, добавляющие новые модели, пишущие документацию или исправляющие ошибки. OpenArch приоритизирует читаемость над производительностью и служит образовательным ресурсом для тех, кто интересуется построением современных LLM.