DiffSynth-Studio icon indicating copy to clipboard operation
DiffSynth-Studio copied to clipboard

timestep的正余弦编码问题

Open Jimzhou82sub opened this issue 5 months ago • 2 comments

https://github.com/modelscope/DiffSynth-Studio/blob/main/diffsynth/models/qwen_image_dit.py#L414

这里为什么把scale的数值设置成1000,是不是太大了, 一般比如sd3只设置成默认的1啊? https://github.com/modelscope/DiffSynth-Studio/blob/main/diffsynth/models/sd3_dit.py#L346

Jimzhou82sub avatar Sep 03 '25 09:09 Jimzhou82sub

@Jimzhou82sub 基础模型训练时是这么设置的,我们沿用了下来,保证训推一致。

Artiprocher avatar Sep 23 '25 05:09 Artiprocher

https://github.com/modelscope/DiffSynth-Studio/blob/main/diffsynth/models/qwen_image_dit.py#L414

这里为什么把scale的数值设置成1000,是不是太大了, 一般比如sd3只设置成默认的1啊? https://github.com/modelscope/DiffSynth-Studio/blob/main/diffsynth/models/sd3_dit.py#L346

我也发现了此问题,也许是因为qwen_image预先将timestep/1000的原因?见model_fn_qwen_image函数中timestep = timestep / 1000,而sd3和flux则没有此操作

yinguoweiOvO avatar Oct 28 '25 08:10 yinguoweiOvO