onediff icon indicating copy to clipboard operation
onediff copied to clipboard

A10 性能下降

Open maidabu opened this issue 1 year ago • 5 comments

onediff从0.12.1开始相比于0.12.0有10%以上的性能下降,是怎么回事。

maidabu avatar May 07 '24 09:05 maidabu

onediff从0.12.1开始相比于0.12.0有10%以上的性能下降,是怎么回事。

请问是什么模型,什么设备。能否说明下复现方式。

strint avatar May 07 '24 09:05 strint

onediff从0.12.1开始相比于0.12.0有10%以上的性能下降,是怎么回事。

请问是什么模型,什么设备。能否说明下复现方式。

A10上,SD1.5。就跑https://github.com/siliconflow/onediff/blob/main/onediff_diffusers_extensions/examples/text_to_image.py

maidabu avatar May 07 '24 11:05 maidabu

onediff从0.12.1开始相比于0.12.0有10%以上的性能下降,是怎么回事。

请问是什么模型,什么设备。能否说明下复现方式。

A10上,SD1.5。就跑https://github.com/siliconflow/onediff/blob/main/onediff_diffusers_extensions/examples/text_to_image.py

好的,我们已经在复现和定位问题

strint avatar May 09 '24 07:05 strint

你提到的情况确实存在,为了支持动态分辨率,所以在 A10 上性能多了10%的开销,我们会继续深入了解下这个性能的开销能否缩减。对应改动的 PR:

https://github.com/siliconflow/onediff/pull/552/files

你之前用的应该是这个 PR 之前的版本,不支持动态分辨率切换。如果你觉得不需要动态分辨率切换,我们应该可以提供一个开关避免这个开销。 @maidabu

lijunliangTG avatar May 13 '24 12:05 lijunliangTG

您提到的情况确实存在,为了支持动态分辨率,所以性能多了10%的开销。 https://github.com/siliconflow/onediff/pull/552/files

为什么支持动态分辨率性能会下降这么多,底层跑的kernel应该都一样吧

maidabu avatar May 14 '24 07:05 maidabu

您提到的情况确实存在,为了支持动态分辨率,所以性能多了10%的开销。 https://github.com/siliconflow/onediff/pull/552/files

为什么支持动态分辨率性能会下降这么多,底层跑的kernel应该都一样吧

是不一样的,一些不支持动态 shape 的 op 被替换掉了。我们在做一些技术栈重构,会在新技术栈来改进这块。

strint avatar Jul 05 '24 11:07 strint