Интеграция NVIDIA NIM с Hugging Face: запуск более 100 000 языковых моделей в едином Docker-контейнере

NVIDIA объявила о масштабном обновлении платформы NIM (NVIDIA Inference Microservices), которое открывает возможность быстрой и стандартизированной развертки более чем 100 000 LLM с репозитория Hugging Face. Теперь инженерам доступен универсальный Docker-контейнер, объединяющий ведущие движки инференса — TensorRT-LLM, vLLM и SGLang. Ключевые технические особенности релиза: * Единый контур развертки: контейнер автоматически определяет веса модели, производит оптимизацию под железо и поднимает готовый API-сервис без ручной настройки конфигов. * Поддержка популярных форматов: полная совместимость со стандартными весами моделей от Meta, Mistral AI, Google и других вендоров. * Бекэнд по выбору: возможность задействовать оптимизации TensorRT-LLM или гибкость экосистем vLLM и SGLang в зависимости от задач. Для запуска потребуется кластер или сервер с GPU NVIDIA (драйверы с поддержкой CUDA 12.1+), настроенный Docker, а также активные API-ключи от NGC и Hugging Face для загрузки проприетарных весов. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).