MOSS icon indicating copy to clipboard operation
MOSS copied to clipboard

Published 20 hours ago • verified publisher icon OpenMOSS

是否可以有纯CPU的模式

Open pamdla opened this issue 1 year ago • 7 comments

没有显卡的话，是否有人研究过纯CPU的模式？

pamdla avatar Apr 23 '23 07:04 pamdla

没有显卡的话，是否有人研究过纯CPU的模式？

没意义。。。GPU推理都已经算很慢了，cpu得慢到什么程度。搞大模型的门槛还是得有卡

rayvzn119 avatar Apr 23 '23 08:04 rayvzn119

推理慢是有很多原因的，一个原因就是模型很大（参数太多），我用gpt4all的cpu版本其速度是能接受的，作为对比的话。 所以在想，MOSS有没有可能也做到那种程度。对于某些只有CPU大集群的公司来说，是有益的。

pamdla avatar Apr 23 '23 09:04 pamdla

您只需要修改model_inference.py去掉.cude()和.to("cuda")即可，但是使用纯cpu推理仍是不推荐的

piglaker avatar Apr 23 '23 15:04 piglaker

您只需要修改model_inference.py去掉.cude()和.to("cude")即可

好的，我找找。

pamdla avatar Apr 26 '23 09:04 pamdla

您只需要修改model_inference.py去掉.cude()和.to("cuda")即可，但是使用纯cpu推理仍是不推荐的

没找到这个文件，只看到moss_inference.py

weeming21 avatar Apr 29 '23 14:04 weeming21

我测试过 cpu 推理 ， 主页的推理示例，跑了接近2个小时。 配置是个 20 核 至强银牌。

leiwhere avatar Apr 30 '23 00:04 leiwhere

我测试过cpu推理，主页的推理示例，跑了近2个小时候。 配置是一个20核至强银牌。

请问该怎么操作呢

Svellsongur6 avatar May 08 '23 11:05 Svellsongur6