Les multiplicateurs matriciels sur les GPU récents ne sont pas conformes à IEEE 754, avec des différences entre les fournisseurs et les architectures en ce qui concerne la largeur de l'accumulateur, l'arrondi, la normalisation, les sous-normaux et les entrées spéciales. Cela empêche la reproductibilité entre les appareils via le logiciel.

Les détails d'implémentation ne sont pas documentés, ce qui complique l'interprétation des divergences. Les chercheurs caractérisent le comportement numérique sur trois architectures GPU AMD : CDNA 1, CDNA 2 et CDNA 3, en utilisant les GPU MI100, MI210/250 et MI300A/300X.

Les vecteurs de test ciblent les caractéristiques numériques pour tous les formats d'entrée pris en charge, avec des dérivations fournies. Des modèles logiciels basés sur MATLAB sont développés pour chaque architecture et validés pour une reproductibilité au niveau du bit par rapport au matériel à l'aide de 10 millions d'ensembles de tests randomisés. Une technique de raffinement itératif précédemment développée assure la précision du modèle.

Comme preuve de concept, les modèles sont utilisés dans deux applications numériques, quantifiant les différences de précision au niveau de l'application entre les cœurs matriciels AMD et les cœurs tensoriels NVIDIA.

Entités clés : Entreprises : AMD, NVIDIA | Personnes : Faizan Ahmad Khattak

FAQ : Pourquoi les résultats des petits multiplicateurs matriciels ne peuvent-ils pas être reproduits sur les GPU AMD ?

Les multiplicateurs matriciels sur les GPU récents ne sont pas conformes à IEEE 754, et des caractéristiques telles que la largeur de l'accumulateur, l'arrondi et la gestion des sous-normaux diffèrent entre les fournisseurs et les architectures, rendant impossible une reproductibilité contrôlée par logiciel.