Миграция на vLLM V1 в RL: как обеспечить паритет логитов и стабильность обучения

Разработчики поделились опытом перевода систем обучения с подкреплением (RL) с движка vLLM V0 (версия 0.8.5) на переписанный с нуля vLLM V1 (версия 0.18.1). Изначально запуск на V1 давал расхождение в метриках (например, по клип-рейту и логпробам со стороны генератора) в сравнении с V0 при использовании одинаковых задач оптимизации вроде GSPO, PPO или GRPO. Чтобы добиться точного соответствия результатов без изменения самой целевой функции RL, инженерам пришлось устранить четыре ключевых расхождения в бэкенде: * Обработка логпробов роллаута (rollout logprobs); * Корректировка дефолтных параметров рантайма, специфичных для V1; * Исправление пути «горячего» обновления весов модели "на лету" (inflight weight-update); * Отключение или приведение к единому типу использования fp32 для слоев `lm_head` в финальной проекции. Этот апдейт критически важен для команд, занимающихся посттренингом и RLHF/RLAIF крупных языковых моделей. Переход на архитектуру V1 снижает оверхед и повышает пропускную способность инференса, но требует аккуратной калибровки бэкенда во избежание деградации сходимости в RL-пайплайнах. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).