OpenArch একটি PyTorch রিপোজিটরি যা আধুনিক ওপেন-সোর্স LLM আর্কিটেকচারের ম্যানুয়ালি লেখা ইমপ্লিমেন্টেশন প্রদান করে, Sebastian Raschka-এর LLM Architecture Gallery-এর ভিত্তিতে। পাঠযোগ্যতা বাড়ানোর জন্য শূন্য থেকে লেখা হয়েছে, প্রতিটি মডেল একক ফাইলে থাকে এবং স্পষ্ট সামগ্রিক পছন্দগুলি যেমন অ্যাটেনশন ধরন, নরমালাইজেশন এবং পজিশনাল এনকোডিং রয়েছে। লক্ষ্য হল স্পষ্টতা ও শিক্ষণ, না প্রোডাকশন লাইব্রেরিগুলির সাথে প্রতিযোগিতা করা।

কার্যকরী মডেলগুলি অন্তর্ভুক্ত আছে Llama, Qwen, DeepSeek, Gemma, GPT-OSS, Kimi এবং অধিক। প্রতিটি প্রবেশ তার নরমালাইজেশন পদ্ধতি (উদাহরণস্বরূপ RMSNorm, QK-Norm), পজিশনাল এনকোডিং (Ro PE), অ্যাটেনশন ভ্যারিয়েশন (উদাহরণস্বরূপ মল্হেড, গ্রুপ্ড কোয়েরি, স্লাইডিং উইন্ডো) এবং মিক্সচার অফ এক্সপার্টস সমর্থন করে কি না তা নথিপত্রে করা হয়েছে। কিছু মডেল অগ্রসর পাসের জন্য ব্যবহারযোগ্য হিসেবে চিহ্নিত; অন্যগুলি নির্মাণের প্রক্রিয়ায় রয়েছে।

এই রিপোজিটরিটি টেক্সট এবং মল্টিমোডিয়াল ফোল্ডারে সাজানো হয়েছে, প্রতিটি মডেল একটি model.py এবং README.md ধারণ করে। সমৃদ্ধিকরণকারীদের স্বাগত রয়েছে নতুন মডেল যোগ করতে, ডকুমেন্টেশন লিখতে বা বাগ ঠিক করতে। OpenArch পারফরম্যান্সের বদলে পাঠযোগ্যতা গুরুত্ব দেয় এবং আধুনিক LLM কীভাবে নির্মিত হয় তা শিখতে চাওয়া ব্যক্তদের জন্য একটি শিক্ষামূলক সম্পদ।