HeadlinesBriefing favicon HeadlinesBriefing.com

AMD矩阵核心精确模型

Hacker News •
×

近期GPU上的矩阵乘法器不符合IEEE 754标准,不同厂商和架构在累加器宽度、舍入、归一化、次正规数和特殊输入方面存在差异。这阻碍了通过软件在不同设备间实现可复现性。

实现细节未公开,使得差异的解释变得复杂。研究人员使用MI100MI210/250MI300A/300X GPU,对三种AMD GPU架构的数值行为进行了表征:CDNA 1CDNA 2CDNA 3

测试向量针对所有支持的输入格式的数值特征,并提供了推导过程。为每种架构开发了基于MATLAB的软件模型,并使用1000万个随机测试集针对硬件进行了位级可复现性验证。先前开发的迭代细化技术确保了模型的准确性。

作为概念验证,这些模型被用于两个数值应用,量化了AMD矩阵核心与NVIDIA张量核心之间的应用级精度差异。

关键实体:公司:AMD、NVIDIA | 人物:Faizan Ahmad Khattak

常见问题:为什么小型矩阵乘法器的结果无法在AMD GPU之间复现?

近期GPU上的矩阵乘法器不符合IEEE 754标准,累加器宽度、舍入和次正规数处理等特性因厂商和架构而异,使得软件控制的复现性无法实现。