DiffSynth-Studio icon indicating copy to clipboard operation
DiffSynth-Studio copied to clipboard

PyTorch在编译时没有启用Flash Attention优化

Open SirenYan opened this issue 1 year ago • 1 comments

在使用过程非常坎坷/(ㄒoㄒ)/,真的非常想体验这个应用的效果,有没有懂得大佬帮忙康康这个问题啊

D:\AIGC\DiffSynth-Studio-main\diffsynth\models\attention.py:43: UserWarning: 1Torch was not compiled with flash attention. (Triggered internally at C:\cb\pytorch_1000000000000\work\aten\src\ATen\native\transformers\cuda\sdp_utils.cpp:263.) hidden_states = torch.nn.functional.scaled_dot_product_attention(q, k, v, attn_mask=attn_mask)

会一直卡在这里 9cfe7593e788d76049ea08c6b43edf5

SirenYan avatar Mar 29 '24 07:03 SirenYan

这个 warning 不影响使用;并不是卡在那里,而是速度比较慢,可以在 cmd 上输入 nvidia-smi 查看 GPU 使用情况

Artiprocher avatar Mar 29 '24 09:03 Artiprocher