यदि आपने कभी एक ही डेटा पर एक ही आर्किटेक्चर को दो बार प्रशिक्षित करके तंत्रिका नेटवर्क वजन औसत करने की कोशिश की है, केवल यादृच्छिक बीज बदलते हुए, तो आपने शायद मान लिया होगा कि दोनों परिणाम मूल रूप से विनिमेय थे। दोनों रन अभिसरण करते हैं। दोनों समान हानि तक पहुँचते हैं। इसलिए आप दो वजन वैक्टर का औसत लेते हैं, उम्मीद करते हुए कि यह कम से कम अकेले किसी एक जितना अच्छा होगा। औसत बदतर है। अक्सर बहुत बदतर। प्रशिक्षण प्रक्रिया के दौरान कोई समस्या नहीं थी; यह तंत्रिका नेटवर्क की एक संरचनात्मक विशेषता है और इसे सीधे क्रमचय समरूपता नामक गुण से निकाला जा सकता है।

यही सिद्धांत यह भी बताता है कि मॉडल विलय कब सफल होता है और कब विफल होता है, एक प्रश्न जो 2026 में व्यावहारिक LLM इंजीनियरिंग के केंद्र में है, चाहे कोई मॉडल सूप या संघीय औसत से निपट रहा हो। दो प्रशिक्षित नेटवर्कों को दो स्प्रेडशीट के रूप में सोचें जो एक ही रिपोर्ट का वर्णन करती हैं, सिवाय इसके कि कॉलम अलग क्रम में हैं। मॉडल A का "कॉलम 3" वह हो सकता है जिसे मॉडल B "कॉलम 7" कहता है। दोनों स्प्रेडशीट सही हैं। लेकिन पहले कॉलम को संरेखित किए बिना उन्हें सेल दर सेल औसत करना, राजस्व को कर्मचारियों की संख्या के साथ औसत करने जैसा है।

अधिकांश तंत्रिका नेटवर्क परिचय फ़ंक्शन स्पेस में रहते हैं। यह लेख पैरामीटर स्पेस में रहता है: अच्छे समाधानों का सेट वास्तव में कैसा दिखता है, और वह ज्यामिति आपको क्या लागत देती है। क्लासिक मॉडल जैसे बहुपद प्रतिगमन में निश्चित आधार फ़ंक्शन और उत्तल हानि होती है। एक तंत्रिका नेटवर्क आधार फ़ंक्शन स्वयं सीखता है, जिससे हानि गैर-उत्तल हो जाती है। यह गैर-उत्तलता अनुकूलनशीलता की कीमत है। आधार को ठीक करें, और हमें उत्तलता मिलती है। आधार सीखें, और हम इसे खो देते हैं। कोई तीसरा विकल्प नहीं है।