OpenArch هو مستودع PyTorch يقدم تطبيقات يدوية لبنية تعمارية LLM مفتوحة المصدر الحديثة، مستندة إلى معرض بنية تعمار LLM الخاص بـ Sebastian Raschka. تم كتابة جميعها من الصفر للقراءة السهلة، ويقع كل نموذج في ملف واحد مع خيارات بنائية صريحة مثل نوع الانتباه، والتطبيع، وترميز الموضع. الهدف هو الوضوح والتعلم، لا المنافسة مع مكتبات الإنتاج.

تشمل النماذج المنفذة Llama، Qwen، DeepSeek، Gemma، GPT-OSS، Kimi، ومزيد. وثّق كل مدخل طريقة التطبيع (مثل RMSNorm، QK-Norm)، وترميز الموضع (Ro PE)، ونوع الانتباه (مثل الرأس المتعدد، الاستعلام المجمع، نافذة الانزلاق)، وما إذا كان يدعم خلط الخبراء. يتم تحديد بعض النماذج كقابلة للاستخدام للعبورات إلى الأمام؛ بينما يقع البعض الآخر في مرحلة البناء.

يُنظم المستودع إلى مجلدات نصية ومتعددة الوسائط، ويحتوي كل نموذج على model.py و README.md. يرحب بالمساهمين بإضافة نماذج جديدة، وكتابة الوثائق، أو إصلاح الأخطاء. تُعطي OpenArch الأولوية للقراءة السهلة مقابل الأداء، وتخدم كمصدر تعلمي لأولئك المهتمين ببناء LLM الحديثة.