HeadlinesBriefing favicon HeadlinesBriefing.com

机器学习模型中的静默广播Bug

Towards Data Science •
×

PyTorch和TensorFlow张量广播可导致机器学习模型出现严重Bug,浪费数千算力。当张量维度不匹配时,框架默默拉伸大小为1的维度,产生意外的矩阵运算而非向量运算。例如,向(N,1)列向量加(N,)平坦向量会产生(N,N)矩阵而非N个元素级差值。这会导致回归模型优化批次均值而非学习实际输入输出关系,loss曲线虽然正常,却在向垃圾解训练。作者估计因此Bug浪费了4000美元的算力。预防需要仔细的张量形状验证和对广播规则的理解,以确保维度按预期匹配。