NVIDIA NeMo AutoModel: ускорение fine-tuning MoE-моделей в 3.5 раза с сохранением API Transformers v5

NVIDIA представила открытую библиотеку NeMo AutoModel, которая существенно упрощает дообучение (fine-tuning) крупных языковых моделей со смешанной экспертной архитектурой (MoE). Надстройка поверх HuggingFace Transformers v5 добавляет в стек поддержку параллелизма экспертов (Expert Parallelism), оператор DeepEP для слитной диспетчеризации all-to-all с перекрытием коммуникаций и вычислений, а также ядра TransformerEngine. Главный плюс для MLOps-инженеров — полная обратная совместимость с привычным API `from_pretrained()`. Никакой переписытки кодовой базы не требуется, а на выходе получаются стандартные веса в формате HF, которые без проблем подхватывают инференс-движки вроде vLLM и SGLang. Основные технические преимущества: * Рост пропускной способности: Увеличение скорости обучения MoE-моделей в 3.4–3.7 раза по сравнению с чистым Transformers v5. * Экономия VRAM: Снижение потребления видеопамяти на GPU на 29–32% при том же размере батча. * Масштабируемость: Подтвержденные тесты от одиночных узлов (Qwen3-30B-A3B) до масштабного кластерного хардкора (16 узлов для NVIDIA Nemotron 3 Ultra 550B). * Прозрачность пайплайна: Динамическая загрузка весов и сохранение через стандартный `save_pretrained()`. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).