PyTorch y TensorFlow pueden causar errores de difusión silenciosos en modelos de ML, costando miles en recursos de cómputo. Cuando las dimensiones de los tensores no coinciden exactamente, los frameworks difunden estirando automáticamente dimensiones de tamaño 1, creando operaciones de matriz no deseadas en lugar de operaciones vectoriales. Por ejemplo, sumar un vector columna (N, 1) a un vector plano (N,) produce una matriz (N, N) en lugar de diferencias elemento a elemento.

Esto hace que los modelos de regresión optimicen la media del lote en lugar de aprender las relaciones reales entrada-salida, con curvas de pérdida que aparecen normales mientras se entrena hacia la basura. El autor estima desperdiciar 4.000 dólares en costos de cómputo debido a este bug. La prevención requiere validación cuidadosa de la forma del tensor y comprender las reglas de difusión para asegurar que las dimensiones coincidan como se pretende.