PyTorch e TensorFlow podem causar bugs de difusão silenciosa em modelos de ML, custando milhares em recursos de computação. Quando as dimensões dos tensores não correspondem exatamente, os frameworks difundem esticando automaticamente dimensões de tamanho 1, criando operações de matriz não intencionais em vez de operações vetoriais. Por exemplo, somar um vetor coluna (N, 1) a um vetor plano (N,) produz uma matriz (N, N) em vez de operações elemento a elemento.

Isso faz com que modelos de regressão otimizem a média do lote em vez de aprender relações reais entrada-saída, com curvas de perda aparecendo normais enquanto treinam para o lixo. O autor estima desperdiçar 4.000 dólares em custos de computação devido a esse bug. A prevenção requer validação cuidadosa da forma dos tensores e compreensão das regras de difusão para garantir que as dimensões correspondam como pretendido.