在 HF Jobs 上用 LoRA 运行异步 GRPO：一个存储桶、一个代理，无需 NCCL

Hugging Face 展示了跨 HF Jobs 运行异步 GRPO 的方案，通过存储桶同步 LoRA 适配器，无需 NCCL。TRL v1.14 的 AsyncGRPOTrainer 支持仅向 vLLM 同步适配器，代理负责请求路由及加载广播。同一训练配方经优化，500 步耗时从 3 h 27 min 降至 53 min。