Справедливый шедулинг в LLM-инференсе: как побороть монополизацию GPU «тяжелыми» пользователями

При деплое языковых моделей через движки вроде vLLM или TGI стандартная FIFO-очередь часто становится узким горлышком. Когда один клиент отправляет массив запросов, он мгновенно забивает батч, из-за чего запросы остальных пользователей уходят в глухой стоп. Решением этой проблемы на уровне прокси-API становится внедрение честного шедулинга (fair scheduling) по принципу Round-Robin с раздельными очередями для каждого клиента. Ключевые инженерные решения и подходы: * Контроль до инференса: Перехват и упорядочивание запросов происходят на промежуточном API-сервере, так как стандартные бэкенды инференса не позволяют гибко пересортировать батчи «на лету». * Балансировка по числу запросов: Циклический обход очередей разных пользователей не дает одному источнику монополизировать GPU. * Учет специфики KV-кэша: Продвинутая маршрутизация с учетом схожести промптов (как в NVIDIA Dynamo или AIBrix) позволяет максимизировать попадания в кэш и ускорить генерацию токенов. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).