sunzx8
Results
22
comments of
sunzx8
> 这么长的输出.......... 不过可以试试 ring attn + hybrid engine 另外请参考 [#821](https://github.com/OpenRLHF/OpenRLHF/issues/821) @hijkzzz 您好，我用2*8*H20使用hybrid engine在bsz=1的时候就会oom。。。 指令： HEAD_IP=127.0.0.1 ray job submit --address="http://${HEAD_IP}:8265" \ -- python -m openrlhf.cli.train_ppo_ray \ --ref_num_nodes 2 \ --ref_num_gpus_per_node 8...
请问现在支持通过vllm加速吗？