Укрощение очередей в vLLM: как параллельный префилл борется с блокировкой коротких запросов длинными промптами

Разработчики vLLM обратили внимание на классическую проблему инференса LLM: длинные промпты блокируют очередь префилла (prefill-queue), из-за чего последующие короткие запросы простаивают, демонстрируя удручающий Time-to-First-Token (TTFT). Поскольку этап префилла полностью утилизирует GPU параллельной обработкой токенов, стандартный chunked-prefill обрабатывает чанки строго последовательно. В недавних обновлениях vLLM появился механизм параллельного префилла с ограничением (request-parallel prefills). Теперь система умеет батчить префиллы нескольких запросов одновременно, но с жестким лимитом на количество «тяжелых» промптов (например, разрешено обрабатывать пачку коротких запросов параллельно, но только один из них может содержать более 10 000 токенов). Это создает своеобразную «выделенную полосу» для коротких промптов, кардинально снижая задержки на старте генерации, хотя одновременное выполнение префилла и декодирования все еще может незначительно просаживать скорость генерации токенов (TPOT) для уже запущенных задач. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).