Langchain-Chatchat
Langchain-Chatchat copied to clipboard
萌新求教大佬怎么改成AMD显卡或者CPU?
把.cuda()去掉就行
已新增 cuda、mps 的可用检测,如两类均不可用则自动将 embedding 和 llm 修改为在 cpu 上运行。
如果需要在 amd 显卡上运行,请先确认 torch 是否支持 amd 显卡加速,如果支持可以在后续版本中增加自动判断。
@imClumsyPanda 修改哪些行代码,可以在CPU上跑?
同问,请问具体要怎么改呢
AMD显卡应该用ROCM配置pytorch,CPU现在只要在配置文件改成cpu就能让模型跑在cpu上