Релиз Accelerate и Axolotl: нативная поддержка многомерного параллелизма (ND-Parallel) для масштабного обучения LLM

Hugging Face обновили библиотеку Accelerate и фреймворк Axolotl, добавив удобную конфигурацию многомерного параллелизма (ND-Parallelism) через класс `ParallelismConfig`. Инструмент позволяет на лету комбинировать ключевые стратегии распределения нагрузки для обучения тяжелых языковых моделей на кластерах из десятков и сотен GPU. ### Главные технические особенности обновления: - Гибкая композиция: Настройка степеней параллелизма в несколько строк кода (`dp_shard_size`, `dp_replicate_size`, `cp_size`, `tp_size`). - Связка с FSDP v2: Нативная поддержка шардирования весов, градиентов и состояний оптимизатора (по аналогии с ZeRO-3) для моделей, которые не помещаются в память одного ускорителя. - Интеграция с Axolotl: Готовые конфигурационные файлы для быстрого старта дообучения (fine-tuning) крупных моделей вроде Llama-3.1-8B на кластерах с минимальным размером ворлда от 16 GPU (например, конфигурация `llama-3_1-8b-hsdp-tp.yaml`). - Оптимизация коммуникации: Снижение оверхеда на пересылку данных между узлами за счет грамотного подбора тензорного (TP), контекстного (CP) и дата-параллелизма (DP/HSDP). 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).