zj

您好，想问一下您在训练PPO的过程中，是关掉hybrid_engine 这个参数了么，那训练速度有影响么

> 关了，hybrid_engine有bug，训练速度应该会有影响，推理的时候会变慢。这个issue的原因是没有用bf16数据格式训练llama2  桜华月 ***@***.***   > […](#) > ------------------ 原始邮件 ------------------ 发件人: ***@***.***>; 发送时间: 2023年12月15日(星期五) 中午11:17 收件人: ***@***.***>; 抄送: ***@***.***>; ***@***.***>; 主题: Re: [microsoft/DeepSpeed] [BUG] Actor model generates nothing in step3 (Issue...

想问您一下，您把 --hybrid_engine_enabled参数去掉以后，训练速度是不是特别慢

> > 想问您一下，您把 --hybrid_engine_enabled参数去掉以后，训练速度是不是特别慢 > > @zjintheroom 是的，耗时增加了一倍 谢谢您的回复，想问您一下，您的配置文件方便给一下么，actor model 和 rewarded model 的zero stage，您这边是怎么选的呢