InternEvo icon indicating copy to clipboard operation
InternEvo copied to clipboard

Published 20 hours ago • verified publisher icon InternLM

升级CUDA版本以支持Windows版本的flash-attention

Open SkyblueMr opened this issue 1 year ago • 1 comments
trafficstars

描述该功能

目前能编译出来的windows版本的flash-attention是依赖cu121+py310+torch2.1 而InternEvo又只依赖cu118，导致两个库冲突了，无法在windows上训练 未来会有计划升级到cu121吗？谢谢！

是否希望自己实现该功能？

  • [ ] 我希望自己来实现这一功能，并向 InternLM 贡献代码！

SkyblueMr avatar Mar 12 '24 01:03 SkyblueMr

我们来计划一下

sunpengsdu avatar Mar 20 '24 02:03 sunpengsdu