liluo2
liluo2
Yes I found that installing the wheels for PyTorch 1.7.0 worked. But I think maybe you can make this work by not specifying versioning numbers? This will help other people....
BYW, thanks you rusty1s!
Hi @x9898 ! Have you solved this problem?
感谢 @JJJYmmm 回复！我之前试过关掉flash attention也有Error所以我就先嗯干flash attn了，我再试试看看关掉的话能不能改。那这样的话我还有一点点问题： 1. 你们那边测试开了vs不开FA2的差异如何嘞？ 2. 我看你们给的evaluation，run_mmmu.py里面是用到了fa-2的，这里的fa-2不是你们hack过后的fa-2对吧？
1. okok，那速度上的差异有多少呢？ 2. okok，那想问你们觉得自己重新写一个测试的flash attn的话会麻烦嘛（想大概评估一下），或者说你们一般自己测试的时候是都会关掉fa的嘛？ 3. 是不是sdpa比eager要好嘞一般来说？
确实，我这里把data flatten给comment掉了也可以用，暂时是可以有输出了。谢谢你！