Los multiplicadores matriciales en las GPU recientes no cumplen con IEEE 754, con diferencias entre proveedores y arquitecturas en el ancho del acumulador, redondeo, normalización, subnormales y entradas especiales. Esto impide la reproducibilidad entre dispositivos mediante software.

Los detalles de implementación no están documentados, lo que complica la interpretación de las discrepancias. Los investigadores caracterizan el comportamiento numérico en tres arquitecturas de GPU AMD: CDNA 1, CDNA 2 y CDNA 3, utilizando GPU MI100, MI210/250 y MI300A/300X.

Los vectores de prueba se dirigen a características numéricas para todos los formatos de entrada admitidos, con derivaciones proporcionadas. Se desarrollan modelos de software basados en MATLAB para cada arquitectura y se validan para reproducibilidad a nivel de bit contra hardware utilizando 10 millones de conjuntos de pruebas aleatorizados. Una técnica de refinamiento iterativo desarrollada previamente asegura la precisión del modelo.

Como prueba de concepto, los modelos se utilizan en dos aplicaciones numéricas, cuantificando las diferencias de precisión a nivel de aplicación entre los núcleos matriciales de AMD y los núcleos tensoriales de NVIDIA.

Entidades clave: Empresas: AMD, NVIDIA | Personas: Faizan Ahmad Khattak

Preguntas frecuentes: ¿Por qué no se pueden reproducir los resultados de multiplicadores matriciales pequeños entre GPU AMD?

Los multiplicadores matriciales en las GPU recientes no cumplen con IEEE 754, y características como el ancho del acumulador, el redondeo y el manejo de subnormales difieren entre proveedores y arquitecturas, lo que hace imposible la reproducibilidad controlada por software.