PyTorch dan TensorFlow dapat menyebabkan bug broadcast sunyi di model ML, menghabiskan ribuan sumber daya komputasi. Saat dimensi tensor tidak sepenuhnya cocok, framework secara sunyi 'broadcast' dengan memperpanjang dimensi ukuran 1, menciptakan operasi matrix yang tidak disengaja rather than operasi elemen per elemen. Contohnya, menambahkan vektor kolom (N, 1) ke vektor datar (N,) menghasilkan matrix (N, N) rather than N elementwise perbedaan.

Ini menyebabkan regresi model untuk mengoptimalkan rata-rata batch rather than belajar hubungan input-output yang sebenarnya, dengan kurva loss tampak normal sementara training toward sampah. Penulis memperkirakan membuang 4.000 dolar biaya komputasi karena bug ini. Pencegahan memerlukan validasi bentuk tensor yang cermat dan pemahaman aturan broadcast untuk memastikan dimensi sesuai yang dimaksud.