fastllm icon indicating copy to clipboard operation
fastllm copied to clipboard

Published 20 hours ago • verified publisher icon ztxz16

如果用gpu编译这个项目后,用fastllm加载模型是只能用gpu推理嘛

Open dingli06 opened this issue 1 year ago • 2 comments

请教下gpu编译和非gpu编译有什么区别？？？？

dingli06 avatar Oct 27 '23 06:10 dingli06

gpu编译后，默认使用GPU推理。但您可以使用llm.set_device_map("cpu")指定CPU推理。

TylunasLi avatar Oct 28 '23 11:10 TylunasLi

这样设置还是会跑在一块gpu上 ,只有编译时设置 -DUSE_CUDA=OFF 才会只跑在cpu 上， 这样时合理的吗 ？

hadoop2xu avatar Feb 22 '24 11:02 hadoop2xu