Асинхронный GRPO с LoRA в TRL: разделяем обучение и инференс через HF Jobs без NCCL

В релизе TRL v1.14 появилась нативная поддержка LoRA в AsyncGRPOTrainer, открывающая новые возможности для распределенного обучения с подкреплением (RL). Главный инженерный прорыв этого обновления — возможность полностью разделить процессы обучения и инференса (vLLM) по разным машинам без использования громоздкого NCCL-кластера и общей файловой системы. Ключевые технические особенности и преимущества подхода: * Минимальный оверхед на передачу данных: Полноразмерная модель весит гигабайты, в то время как LoRA-адаптер (особенно ранга r=1) для модели уровня 1.5B занимает всего несколько мегабайт. Вместо пересылки тяжелых тензоров между узлами обновляется только легкий адаптер. * Динамическая загрузка в vLLM: vLLM поддерживает одновременное удержание нескольких адаптеров через эндпоинт `/v1/load_lora_adapter`. Старые роллауты завершаются со старой политикой, а новые подхватывают актуальные веса "на лету". * Использование Storage Buckets и FUSE: В условиях работы с Hugging Face Jobs (где недоступна единая сеть между контейнерами) синхронизация реализуется через облачные бакеты, смонтированные как POSIX-файловая система через FUSE. Тренер сохраняет адаптер, выполняет атомарный перенос и отправляет путь на сервер инференса. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).