[BUG] DeepSpeed-Chat Step3 - actor model repeats generating the same token when hybrid engine enabled

[GeekDream-x]

Keep other settings the same, when enabling the hybrid engine, the actor model in Step 3 generates the same token one by one until reaching the max length of the answer (id 29962 is the end of my prompt, the repeated token id is 517):

when I disabled the hybrid engine, the actor model generates normally:

Is there anything wrong with the hybrid engine? Thanks!

[GeekDream-x]

Model: llama-2

[GeekDream-x]

It repeats to generate '\n' more frequently.

[zjintheroom]

想问您一下，您把 --hybrid_engine_enabled参数去掉以后，训练速度是不是特别慢

[GeekDream-x]

想问您一下，您把 --hybrid_engine_enabled参数去掉以后，训练速度是不是特别慢

@zjintheroom 是的，耗时增加了一倍

[zjintheroom]

想问您一下，您把 --hybrid_engine_enabled参数去掉以后，训练速度是不是特别慢

@zjintheroom 是的，耗时增加了一倍

谢谢您的回复，想问您一下，您的配置文件方便给一下么，actor model 和 rewarded model 的zero stage，您这边是怎么选的呢

[GeekDream-x]

想问您一下，您把 --hybrid_engine_enabled参数去掉以后，训练速度是不是特别慢

@zjintheroom 是的，耗时增加了一倍

谢谢您的回复，想问您一下，您的配置文件方便给一下么，actor model 和 rewarded model 的zero stage，您这边是怎么选的呢

都是stage 3，这个相关的设置基本与DS-Chat保持一致

[luhengtong]

@GeekDream-x 您好，我也遇到了同样的，想问一下您最终是否找到了解决方法，是否可以提供一些解决该问题的思路，谢谢🙏

[GeekDream-x]

@GeekDream-x 您好，我也遇到了同样的，想问一下您最终是否找到了解决方法，是否可以提供一些解决该问题的思路，谢谢🙏

@luhengtong 之前没解决，后续关闭hybrid engine训的。不知道后续的更新修复了么

[jianmomo]

@GeekDream-x您好，我也遇到了同样的问题，想请问一下您最终是否找到了解决方法，是否可以提供一些解决该问题的思路，谢谢🙏

@luhengtong之前没解决，后续关闭混合引擎训的。不知道后续的更新修复了么 您好，我觉得我发生了相同的问题，我使用的是官方给的第一个示例。请问有什么解决的方法吗？