Матричные умножители на современных GPU не соответствуют стандарту IEEE 754, с различиями между производителями и архитектурами в ширине аккумулятора, округлении, нормализации, субнормальных числах и специальных входных данных. Это препятствует воспроизводимости между устройствами с помощью программного обеспечения.

Детали реализации не документированы, что усложняет интерпретацию расхождений. Исследователи характеризуют численное поведение на трех архитектурах GPU AMD: CDNA 1, CDNA 2 и CDNA 3, используя GPU MI100, MI210/250 и MI300A/300X.

Тестовые векторы нацелены на числовые характеристики для всех поддерживаемых входных форматов, с предоставленными выводами. Для каждой архитектуры разработаны программные модели на основе MATLAB и проверены на побитовую воспроизводимость по сравнению с аппаратным обеспечением с использованием 10 миллионов рандомизированных тестовых наборов. Ранее разработанная техника итеративного уточнения обеспечивает точность модели.

В качестве доказательства концепции модели используются в двух численных приложениях, количественно оценивая различия в точности на уровне приложений между матричными ядрами AMD и тензорными ядрами NVIDIA.

Ключевые сущности: Компании: AMD, NVIDIA | Люди: Faizan Ahmad Khattak

Часто задаваемые вопросы: Почему результаты малых матричных умножителей не воспроизводятся на GPU AMD?

Матричные умножители на современных GPU не соответствуют стандарту IEEE 754, а такие характеристики, как ширина аккумулятора, округление и обработка субнормальных чисел, различаются между производителями и архитектурами, что делает невозможной воспроизводимость, контролируемую программным обеспечением.