lora-scripts icon indicating copy to clipboard operation
lora-scripts copied to clipboard

50系BlackWell显卡支持方法

Open NoirePerrorist opened this issue 9 months ago • 12 comments

将安装脚本里的 torch & torchvision 版本更改为 cuda12.8 对应的 nightly 版本 python -m pip install torch==2.8.0.dev20250315+cu128 torchvision==0.22.0.dev20250316+cu128 --index-url https://download.pytorch.org/whl/nightly/cu128

xformers 暂时没有 cu128 因此直接删除 高级模式取消使用 xformers 的勾选

Image

NoirePerrorist avatar Mar 17 '25 01:03 NoirePerrorist

我再补充一下 还需要在整个项目中查找 把 bitsandbytes==0.44.0 替换成 bitsandbytes==0.45.3 0.44.0中不支持cu128 终于跑起来了 我暴风哭泣 50系尝个鲜低人一等啊 如果可能的话请建个50分支 找人测试一下

NoirePerrorist avatar Mar 17 '25 02:03 NoirePerrorist

帮大佬补充一下,xformers现在已经可以用reforge作者自构建的0.0.30版本,支持cu128: https://huggingface.co/Panchovix/xformers-windows-blackwell2.0-nightly/resolve/main/xformers-0.0.30%2B7cb59f0b.d20250226-cp312-cp312-win_amd64.whl 但是torch和torchvision也要降级一下,pip install torch==2.7.0.dev20250226+cu128 torchvision --index-url https://download.pytorch.org/whl/nightly/cu128 然后就可以正常使用xformer加速了

更新: 已经可以使用更新版本的xformers: https://huggingface.co/Panchovix/xformers-windows-blackwell2.0-nightly/resolve/main/xformers-0.0.30%2B9a2cd3ef.d20250321-cp312-cp312-win_amd64.whl 配合0406的2.8.0版本的torch: pip install torch==2.8.0.dev20250406+cu128 torchvision --index-url https://download.pytorch.org/whl/nightly/cu128 再往后的torch版本会莫名其妙报cuda错误,拼尽全力无法解决 如果运行报numpy错误,尝试把numpy版本改成1.26.4

Image

Vinzelles avatar Mar 17 '25 08:03 Vinzelles

請問大佬我安裝xformer 出現ERROR: xformers-0.0.30+7cb59f0b.d20250226-cp312-cp312-win_amd64.whl is not a supported wheel on this platform. 該怎麼解 試了好久都沒辦法正常安裝

沒事解決了 python 版本改為312就好了 謝謝

jimmy52078 avatar Mar 29 '25 11:03 jimmy52078

請問大佬我安裝xformer 出現ERROR: xformers-0.0.30+7cb59f0b.d20250226-cp312-cp312-win_amd64.whl is not a supported wheel on this platform. 該怎麼解 試了好久都沒辦法正常安裝

沒事解決了 python 版本改為312就好了 謝謝

Have you found any solution yet. The wheel seems to be for windows system.

AIExplorer25 avatar Apr 02 '25 16:04 AIExplorer25

我再补充一下 还需要在整个项目中查找 把 bitsandbytes==0.44.0 替换成 bitsandbytes==0.45.3 0.44.0中不支持cu128 终于跑起来了 我暴风哭泣 50系尝个鲜低人一等啊 如果可能的话请建个50分支 找人测试一下

我就是找不到bitsandbytes==0.44.0在哪里,我修改了根目录requirements.txt中的bitsandbytes版本号,但是每次启动还是自动卸载我的版本安装0.44.0的版本,我都快奔溃了

qiuqiu-2 avatar Apr 04 '25 12:04 qiuqiu-2

我再补充一下 还需要在整个项目中查找 把 bitsandbytes==0.44.0 替换成 bitsandbytes==0.45.3 0.44.0中不支持cu128 终于跑起来了 我暴风哭泣 50系尝个鲜低人一等啊 如果可能的话请建个50分支 找人测试一下

我就是找不到bitsandbytes==0.44.0在哪里,我修改了根目录requirements.txt中的bitsandbytes版本号,但是每次启动还是自动卸载我的版本安装0.44.0的版本,我都快奔溃了

Image 你只需要用任意编辑器/IDE打开项目,然后全局搜索就可以轻松找到,以Cursor为例

Vinzelles avatar Apr 04 '25 17:04 Vinzelles

整理一下上面大佬说的方案(降级pytorch但可以使用xformers的方案): 1,首先按照秋夜dalao的方式部署lora-scripts,并进行环境安装。 2,下载@Vinzelles dalao提供的xformers。 https://huggingface.co/Panchovix/xformers-windows-blackwell2.0-nightly/resolve/main/xformers-0.0.30%2B7cb59f0b.d20250226-cp312-cp312-win_amd64.whl 3,将下载后的文件复制到lora-scripts\venv\Scripts目录下。 4,打开cmd,执行命令:./pip install xformers-0.0.30%2B7cb59f0b.d20250226-cp312-cp312-win_amd64.whl 并等待安装完成。 5,在同样的位置执行命令./pip install torch==2.7.0.dev20250226+cu128 torchvision --index-url https://download.pytorch.org/whl/nightly/cu128 并等待安装完成。 6,按照@NoirePerrorist dalao的说法,打开idea,或者vscode,或者其他编辑器; 在整个项目中将 bitsandbytes==0.44.0 替换成 bitsandbytes==0.45.3 。 如果你没有编辑器,或者不确定哪个软件可以做到全局替换,我整理了一下需要修改的文件目录: 以下以2025年4月5日更新版本(v1.12.0)为准。 (1),lora-scripts/mikazuki/launch_utils.py (2),lora-scripts/scripts/dev/requirements.txt (3),lora-scripts/scripts/stable/requirements.txt (4),lora-scripts/requirements.txt

这样就可以顺利使用50系显卡进行炼丹了,不懂代码的萌新折腾了一整天,现成的答案都不会抄,暴风哭泣+1,希望能给其他同类型的萌新省点时间 TAT 。

theSwayed avatar Apr 05 '25 08:04 theSwayed

整理一下上面大佬说的方案(降级pytorch但可以使用xformers的方案): 1,首先按照秋夜dalao的方式部署lora-scripts,并进行环境安装。 2,下载@Vinzelles dalao提供的xformers。 https://huggingface.co/Panchovix/xformers-windows-blackwell2.0-nightly/resolve/main/xformers-0.0.30%2B7cb59f0b.d20250226-cp312-cp312-win_amd64.whl 3,将下载后的文件复制到lora-scripts\venv\Scripts目录下。 4,打开cmd,执行命令:./pip install xformers-0.0.30%2B7cb59f0b.d20250226-cp312-cp312-win_amd64.whl 并等待安装完成。 5,在同样的位置执行命令./pip install torch==2.7.0.dev20250226+cu128 torchvision --index-url https://download.pytorch.org/whl/nightly/cu128 并等待安装完成。 6,按照@NoirePerrorist dalao的说法,打开idea,或者vscode,或者其他编辑器; 在整个项目中将 bitsandbytes==0.44.0 替换成 bitsandbytes==0.45.3 。 如果你没有编辑器,或者不确定哪个软件可以做到全局替换,我整理了一下需要修改的文件目录: 以下以2025年4月5日更新版本(v1.12.0)为准。 (1),lora-scripts/mikazuki/launch_utils.py (2),lora-scripts/scripts/dev/requirements.txt (3),lora-scripts/scripts/stable/requirements.txt (4),lora-scripts/requirements.txt

这样就可以顺利使用50系显卡进行炼丹了,不懂代码的萌新折腾了一整天,现成的答案都不会抄,暴风哭泣+1,希望能给其他同类型的萌新省点时间 TAT 。

Panchovix佬编译了新的xformers,现在可以兼容2.8.0的torch了,感兴趣可以去他的huggingface查看 2.8.0在跑图支持比2.7.0好不少,就是不知道炼丹有没有影响,最好还是用新的(

Vinzelles avatar Apr 05 '25 09:04 Vinzelles

整理一下上面大佬说的方案(降级pytorch但可以使用xformers的方案): 1,首先按照秋夜dalao的方式部署lora-scripts,并进行环境安装。 2,下载@Vinzelles dalao提供的xformers。 https://huggingface.co/Panchovix/xformers-windows-blackwell2.0-nightly/resolve/main/xformers-0.0.30%2B7cb59f0b.d20250226-cp312-cp312-win_amd64.whl 3,将下载后的文件复制到lora-scripts\venv\Scripts目录下。 4,打开cmd,执行命令:./pip install xformers-0.0.30%2B7cb59f0b.d20250226-cp312-cp312-win_amd64.whl 并等待安装完成。 5,在同样的位置执行命令./pip install torch==2.7.0.dev20250226+cu128 torchvision --index-url https://download.pytorch.org/whl/nightly/cu128 并等待安装完成。 6,按照@NoirePerrorist dalao的说法,打开idea,或者vscode,或者其他编辑器; 在整个项目中将 bitsandbytes==0.44.0 替换成 bitsandbytes==0.45.3 。 如果你没有编辑器,或者不确定哪个软件可以做到全局替换,我整理了一下需要修改的文件目录: 以下以2025年4月5日更新版本(v1.12.0)为准。 (1),lora-scripts/mikazuki/launch_utils.py (2),lora-scripts/scripts/dev/requirements.txt (3),lora-scripts/scripts/stable/requirements.txt (4),lora-scripts/requirements.txt

这样就可以顺利使用50系显卡进行炼丹了,不懂代码的萌新折腾了一整天,现成的答案都不会抄,暴风哭泣+1,希望能给其他同类型的萌新省点时间 TAT 。

太帶派了老鐵,記得python要用3.12.3

Image

l3gendneverd1e avatar Apr 12 '25 14:04 l3gendneverd1e

5080这个速度是正常的吗 Image

dashamao123 avatar May 10 '25 09:05 dashamao123

蹲xformers轮子,环境:cu128 + cp312 + torch2.7.1 + win11_amd64

mailzwj avatar Jul 01 '25 06:07 mailzwj

蹲xformers轮子,环境:cu128 + cp312 + torch2.7.1 + win11_amd64

现在直接装稳定版torch 2.7和xformers 0.0.30就好了,不用折腾各种开发渠道了

Vinzelles avatar Jul 01 '25 06:07 Vinzelles