BELLE 多大的gpu 能跑起这个模型，4个12g的gpu能跑起这个模型么？

多大的gpu 能跑起这个模型，4个12g的gpu能跑起这个模型么？

Open zhuchangjiang opened this issue 1 year ago • 4 comments

Mar 23 '23 12:03 zhuchangjiang

应该可以

Mar 23 '23 12:03 mabaochang

是什么硬件？是否支持p2p？我们没有在48g显存上测试过，你们可以试试看，可能需要些激进的优化策略，有啥结论欢迎分享

Mar 23 '23 14:03 barius

可以直接用CPU在64GB内存电脑上运行

Mar 24 '23 07:03 1667

2080TI上也能跑，占用差不多8G显存，推理很快

Mar 24 '23 09:03 1667

可以直接用CPU在64GB内存电脑上运行

请问需要修改哪些参数呢？GPU 上已经跑通了，想在 64GB CPU 上试一下，但是到处都是跟 CUDA 绑死的代码

Mar 27 '23 02:03 MagicCube

可以直接用CPU在64GB内存电脑上运行

64G内存可以直接跑吗？

Mar 28 '23 07:03 rickywu

可以直接用CPU在64GB内存电脑上运行

请问需要修改哪些参数呢？GPU 上已经跑通了，想在 64GB CPU 上试一下，但是到处都是跟 CUDA 绑死的代码

https://huggingface.co/BelleGroup/BELLE-LLAMA-7B-2M 用这里说明的方式能直接在CPU上跑

Mar 28 '23 07:03 1667

可以直接用CPU在64GB内存电脑上运行

64G内存可以直接跑吗？

可以，就是慢点

Mar 28 '23 07:03 1667