Интеграция Hugging Face Transformers в vLLM: запуск любых моделей на нативной скорости без ручного портирования

Разработчики vLLM объявили о серьезном апдейте бэкенда моделирования Transformers, который позволяет запускать сотни моделей (включая LLM и VLM) напрямую из экосистемы Hugging Face без необходимости ожидания официального портирования в движок vLLM. Теперь для запуска модели достаточно передать единственный флаг `--model-impl transformers`. Нововведение бесшовно интегрируется со стандартными механизмами масштабирования и оптимизации vLLM: * Нулевой порог для авторов моделей: код модели берется из Transformers, а за инференс отвечает оптимизированный движок vLLM с непрерывным батчингом (continuous batching) и кастомными ядрами внимания. * Гибкий параллелизм: поддержка Tensor Parallelism для крупных моделей (например, Qwen3-32B на 2 GPU) и Data/Expert Parallelism для гигантов (Qwen3-235B-A22B-FP8 MoE на 8 GPU). * Нативная производительность: бэкенд динамически подставляет оптимизированные ядра внимания vLLM в рантайме, сохраняя максимальную пропускную способность токенов. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).