Запуск vLLM на Hugging Face Jobs одной командой: быстрый деплой моделей для тестов и бэч-генерации

Hugging Face представил возможность поднимать полноценные инстансы vLLM в один клик с помощью утилиты `hf jobs run`. Новый подход позволяет инженерам и ML-специалистам разворачивать OpenAI-совместимый API для тестирования, бенчмаркинга и пакетной генерации текстов без ручной настройки Docker-контейнеров и инфраструктуры. Для запуска используется официальный образ `vllm/vllm-openai`, а вся инфраструктурная обвязка (проброс портов через публичный прокси, таймауты и биллинг) берется на себя платформой. Основные требования и особенности инструмента: - Аппаратное обеспечение: Поддерживаются различные флаворы GPU (например, `a10g-large` под задачи средней сложности). - Зависимости: Требуется `huggingface_hub >= 1.20.0` и активная авторизация через `hf auth login`. - Интеграция: Полная совместимость со стандартным OpenAI API (`/v1/chat/completions`), где авторизация запросов происходит через токен Hugging Face в качестве Bearer-токена. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).