fastllm icon indicating copy to clipboard operation
fastllm copied to clipboard

Published 20 hours ago • verified publisher icon ztxz16

把模型部署在cpu上运行成功，但部署到gpu上却报错了

Open leaf-ygq opened this issue 1 year ago • 2 comments

image 像上图红框框的位置，原来是cpu，代码运行成功，但我想把模型加载在cuda:0卡上，把"cpu"改成"cuda:0"后，报下面这个错误了，要怎么改，才能让模型部署到gpu上呢？ image 另外，也尝试了下面这种方式，模型依旧不能加载到cuda0卡上，大佬指点一下吧 image

leaf-ygq avatar Sep 18 '23 08:09 leaf-ygq

我设置为了auto，自动部署到GPU上了

TJSL0715 avatar Sep 20 '23 10:09 TJSL0715

歪个楼，请问cuda在官网上为什么下不了了呢，点击下载就会跳转Even AI can't find this page!

jdq122 avatar Sep 23 '23 09:09 jdq122