OpenArch एक PyTorch रिपॉजिटरी है जो आधुनिक ओपन-सोर्स LLM एर्किटेक्चर के हाथ से लिखे गए कार्यान्वयन प्रदान करता है, Sebastian Raschka की LLM Architecture Gallery पर आधारित है। पढ़ने में आसानी होने के लिए सेकंड से लिखा गया है, प्रत्येक मॉडल एक ही फ़ाइल में रहता है और स्पष्ट संरचनात्मक विकल्पों के साथ जैसे ध्यान प्रकार, नॉर्मलाइज़ेशन और पोज़िशनल एन्कोडिंग। लक्ष्य स्पष्टता और सीखना है, न कि प्रोडक्शन लाइब्रेरीज़ के साथ प्रतिस्पर्धा।

कार्यान्वित मॉडलों में Llama, Qwen, DeepSeek, Gemma, GPT-OSS, Kimi और अधिक शामिल हैं। प्रत्येक प्रविष्टा इसकी नॉर्मलाइज़ेशन विधि (उदाहरण के लिए RMSNorm, QK-Norm), पोज़िशनल एन्कोडिंग (Ro PE), ध्यान वैरिएंट (उदाहरण के लिए मल्हेड, ग्रुप्ड क्वेरी, स्लाइडिंग विंडो) और इसका क्या मौजूद है एक मिश्रण ऑफ़ एक्सपर्ट्स समर्थन करता है। कुछ मॉडल फॉरवर्ड पास के लिए उपयोगी के रूप में चिह्नित हैं; अन्य निर्माण के प्रक्रिया में हैं।

यह रिपॉजिटरी टेक्स्ट और मल्टीमोडल फ़ोल्डर्स में व्यवस्थित है, जहाँ प्रत्येक मॉडल में एक model.py और README.md होता है। योगदानकर्ताओं का स्वागत है नए मॉडल जोड़ने, दस्तावेज़ीकरण लिखने या त्रुटियों को ठीक करने में। OpenArch प्रदर्शन के बजाय पढ़ने की सुलभता को प्राथमिकता देता है और आधुनिक LLM के निर्माण के बारे में जानने वाले लोगों के लिए एक सीखने का संसाधन है।