Hugging Face упростил сборку и обмен кастомными ядрами ROCm для ускорителей AMD

Hugging Face представил библиотеку для работы с кастомными ядрами (`kernels`), которая избавляет разработчиков и ML-инженеров от боли ручной сборки через CMake, борьбы с компилятором и проблемами ABI. Проект поддерживает бэкенды CUDA, ROCm, Metal и XPU, обеспечивая бесшовную интеграцию оптимизированных под конкретное железо операций прямо в PyTorch. Особый интерес в обновлении представляет поддержка производительных ядер для графических ускорителей AMD Instinct MI300X. В качестве референса разработчики выделили FP8 block-wise GEMM ядро от команды RadeonFlow (победитель AMD Developer Challenge 2025): * Формат данных: Использование низкоточной арифметики FP8 в спецификации `e4m3fnuz` (4 бита экспоненты, 3 бита мантиссы) для максимального прироста пропускной способности памяти. * Точность вычислений: Применение поблочного масштабирования (`a_scale` и `b_scale`) для нивелирования узкого динамического диапазона FP8 и сохранения точности инференса. * Практическая польза: Ускорение генерации матричных умножений без деградации качества моделей за счет грамотной работы с архитектурными особенностями AMD ROCm. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).