PyTorch und TensorFlow können stille Broadcast-Bugs in ML-Modellen verursachen, die Tausende an Rechenressourcen kosten. Wenn Tensor-Dimensionen nicht exakt übereinstimmen, streifen Framework still 'broadcast', indem sie Dimensionen der Größe 1 strecken, und erzeugen unbeabsichtigte Matrixoperationen anstelle der intendierten Vektoroperationen. Beispiel: Das Hinzufügen eines (N, 1) Spaltenvektors zu einem (N,) flachen Vektor erzeugt ein (N, N) Matrix anstelle von elementweisen Operationen.

Dies führt dazu, dass Regressionsmodelle den Batch-Mittelwert optimieren anstatt tatsächliche Eingabe-Ausgabe-Beziehungen zu lernen, wobei Loss-Kurven normal erscheinen, während auf Müll trainiert wird. Der Autor schätzt 4.000 Dollar an Rechenressourcen durch diesen Bug verschwendet zu haben. Prävention erfordert sorgfältige Tensor-Form-Validierung und das Verständnis von Broadcast-Regeln, um sicherzustellen, dass Dimensionen wie beabsichtigt übereinstimmen.