Matrixmultiplikatoren auf neueren GPUs entsprechen nicht IEEE 754, mit Unterschieden zwischen Herstellern und Architekturen bei Akkumulatorbreite, Rundung, Normalisierung, Subnormalen und speziellen Eingaben. Dies verhindert die Reproduzierbarkeit zwischen Geräten über Software.

Implementierungsdetails sind nicht dokumentiert, was die Interpretation von Abweichungen erschwert. Forscher charakterisieren das numerische Verhalten über drei AMD-GPU-Architekturen: CDNA 1, CDNA 2 und CDNA 3, unter Verwendung von MI100-, MI210/250- und MI300A/300X-GPUs.

Testvektoren zielen auf numerische Merkmale für alle unterstützten Eingabeformate ab, mit bereitgestellten Ableitungen. MATLAB-basierte Softwaremodelle werden für jede Architektur entwickelt und auf Bit-genaue Reproduzierbarkeit gegenüber Hardware unter Verwendung von 10 Millionen randomisierten Testsätzen validiert. Eine zuvor entwickelte iterative Verfeinerungstechnik gewährleistet die Modellgenauigkeit.

Als Proof of Concept werden die Modelle in zwei numerischen Anwendungen eingesetzt, um anwendungsbezogene Genauigkeitsunterschiede zwischen AMD-Matrixkernen und NVIDIA-Tensorkernen zu quantifizieren.

Schlüsselentitäten: Unternehmen: AMD, NVIDIA | Personen: Faizan Ahmad Khattak