OpenArchは、Sebastian RaschkaのLLM Architecture Galleryに基づく、現代のオープンソースLLMアーキテクチャの手書き実装を提供するPyTorchリポジトリです。読みやすさのためゼロから書かれ、各モデルは単一のファイルにあり、注意力タイプ、正規化、位置エンコーディングなどの構造的選択が明示されています。目標は明瞭さと学習であり、プロダクションライブラリとの競争ではありません。

実装されたモデルにはLlama、Qwen、DeepSeek、Gemma、GPT-OSS、Kimiなどが含まれます。各エントリは正規化方法（例：RMSNorm、QK-Norm）、位置エンコーディング（Ro PE）、注意力バリエーション（例：マルチヘッド、グループドクエリ、スライディングウィンドウ）、専家混合のサポート有無を記録しています。一部のモデルは前方パスに使用可能としてマークされ、その他は構築中です。

このリポジトリはテキストとマルチモーダルフォルダーに整理され、各モデルにはmodel.pyとREADME.mdが含まれます。新しいモデルの追加、ドキュメントの作成、バグの修正に貢献することを歓迎します。OpenArchはパフォーマンスよりも可読性を優先し、現代のLLMがどのように構築されるかを学ぶための学習リソースです。