Релиз TRL: совместное размещение vLLM и обучение моделей на одной GPU для обхода сетевых узких мест

Выход обновления TRL приносит важнейшее архитектурное улучшение для инженеров, занимающихся дообучением языковых моделей (например, с использованием алгоритмов вроде GRPO). Ранее vLLM запускался исключительно как внешний сервер, взаимодействующий со скриптом обучения по HTTP. В онлайн-методах обучения это приводило к постоянному простою оборудования, накладным расходам на межпроцессное взаимодействие и неэффективному использованию VRAM. Новый подход заменяет схему «пин-понга» между изолированными GPU на нативную колокацию (co-location). Теперь обучение и инференс делят одну группу процессов и запускаются на одних и тех же графических ускорителях: - Устранение лишних сетевых вызовов и сериализации данных между процессами обучения и генерации; - Повышение утилизации VRAM за счет динамического переключения задач на том же железе; - Упрощение масштабирования сложных пайплайнов дообучения без покупки дополнительных серверных мощностей. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).