OpenArch 是一个 PyTorch 仓库，提供现代开源 LLM 架构的手写实现，基于 Sebastian Raschka 的 LLM Architecture Gallery。所有代码均从零编写，注重可读性，每种模型仅存于单个文件中，明确体现结构选择，如注意力类型、归一化方式及位置编码。目标是实现清晰易懂，旨用于学习，而非与生产级库竞争。

实现的模型包括 Llama、Qwen、DeepSeek、Gemma、GPT-OSS、Kimi 等。每条模型记录其归一化方法（如 RMSNorm、QK-Norm）、位置编码（Ro PE）、注意力变体（如多头注意力、分组查询注意力、滑动窗口注意力）以及是否支持专家混合。部分模型标注可用于前向传播，其他模型则处于构建中。

该仓库按文本与多模态文件夹组织，每个模型包含 model.py 与 README.md。欢迎贡献者添加新模型、撰写文档或修复错误。OpenArch 强调可读性而非性能，作为学习资源，帮助了解现代 LLM 的构建方式。

关键实体：公司：GitHub、Hacker News | 人物：Sebastian Raschka、anuj0456