Jika Anda pernah mencoba rata-rata bobot jaringan saraf dengan melatih arsitektur yang sama dua kali pada data yang sama, hanya mengubah seed acak, Anda mungkin berasumsi bahwa kedua hasil pada dasarnya dapat dipertukarkan. Kedua proses konvergen. Keduanya mencapai loss yang sama. Jadi Anda rata-rata dua vektor bobot, mengharapkan sesuatu yang setidaknya sebaik salah satu saja. Rata-ratanya lebih buruk. Seringkali jauh lebih buruk. Tidak ada masalah selama proses pelatihan; ini adalah fitur struktural jaringan saraf dan dapat langsung disimpulkan dari properti yang dikenal sebagai simetri permutasi.

Prinsip yang sama juga menjelaskan mengapa penggabungan model berhasil ketika berhasil dan gagal ketika gagal, sebuah pertanyaan yang pada tahun 2026 menjadi inti rekayasa LLM praktis, baik berurusan dengan model soup atau rata-rata federasi. Bayangkan dua jaringan terlatih sebagai dua spreadsheet yang menggambarkan laporan yang sama, kecuali kolomnya dalam urutan berbeda. "Kolom 3" Model A mungkin berisi apa yang Model B sebut "Kolom 7". Kedua spreadsheet benar. Tetapi rata-rata sel demi sel tanpa menyelaraskan kolom terlebih dahulu, Anda rata-rata pendapatan dengan jumlah karyawan.

Sebagian besar pengenalan jaringan saraf tetap dalam ruang fungsi. Artikel ini tetap dalam ruang parameter: seperti apa sebenarnya himpunan solusi yang baik, dan apa biaya geometri itu bagi Anda. Model klasik seperti regresi polinomial memiliki fungsi basis tetap dan loss cembung. Jaringan saraf mempelajari fungsi basis itu sendiri, membuat loss menjadi non-cembung. Non-cembung ini adalah harga adaptivitas. Tetapkan basis, dan kita mendapatkan kecembungan. Pelajari basis, dan kita kehilangannya. Tidak ada opsi ketiga.