PyTorch et TensorFlow peuvent provoquer des bugs de diffusion silencieux dans les modèles de ML, coûtant des milliers en ressources de calcul. Lorsque les dimensions des tenseurs ne correspondent pas exactement, les frameworks diffusent en étirant automatiquement les dimensions de taille 1, créant des opérations de matrice non intentionnelles au lieu d'opérations vectorielles. Par exemple, ajouter un vecteur colonne (N, 1) à un vecteur plat (N,) produit une matrice (N, N) au lieu d'opérations élément par élément.

Cela amène les modèles de régression à optimiser la moyenne du lot plutôt que d'apprendre les relations d'entrée-sortie réelles, les courbes de perte semblant normales tout en s'entraînant vers des déchets. L'auteur estime avoir gaspillé 4 000 dollars de coûts de calcul à cause de ce bug. La prévention nécessite une validation soigneuse de la forme des tenseurs et la compréhension des règles de diffusion pour s'assurer que les dimensions correspondent comme prévu.