Langchain-Chatchat icon indicating copy to clipboard operation
Langchain-Chatchat copied to clipboard

萌新求教大佬怎么改成AMD显卡或者CPU?

Open dongqf123 opened this issue 2 years ago • 3 comments

dongqf123 avatar Apr 10 '23 09:04 dongqf123

把.cuda()去掉就行

imClumsyPanda avatar Apr 10 '23 10:04 imClumsyPanda

已新增 cuda、mps 的可用检测,如两类均不可用则自动将 embedding 和 llm 修改为在 cpu 上运行。

如果需要在 amd 显卡上运行,请先确认 torch 是否支持 amd 显卡加速,如果支持可以在后续版本中增加自动判断。

imClumsyPanda avatar Apr 11 '23 14:04 imClumsyPanda

@imClumsyPanda 修改哪些行代码,可以在CPU上跑?

cristianohello avatar May 06 '23 10:05 cristianohello

同问,请问具体要怎么改呢

pupppymu avatar Sep 04 '23 10:09 pupppymu

AMD显卡应该用ROCM配置pytorch,CPU现在只要在配置文件改成cpu就能让模型跑在cpu上

zRzRzRzRzRzRzR avatar Sep 27 '23 12:09 zRzRzRzRzRzRzR