MOSS icon indicating copy to clipboard operation
MOSS copied to clipboard
verified publisher icon OpenMOSS

请问本地部署最低配置是什么

Open casjyhq opened this issue 2 years ago • 7 comments

请问本地部署最低配置是什么

casjyhq avatar Apr 21 '23 02:04 casjyhq

介绍中最低要求是3090，T.T

casjyhq avatar Apr 21 '23 02:04 casjyhq

现在开放的是fp16模型， 是需要30g显存，之后会开放量化的

ninerui avatar Apr 21 '23 03:04 ninerui

目前跑起来需要的显存，给大家参考。 image

2132660698 avatar Apr 21 '23 06:04 2132660698

我用的4张titan xp，就是比较慢。。。

milk-bottle-liyu avatar Apr 21 '23 10:04 milk-bottle-liyu

目前跑起来需要的显存，给大家参考。

兄弟，我有两张40G的 A100，能跑起来嘛

YYGe01 avatar Apr 21 '23 12:04 YYGe01

啊 这配置要求真高啊

casjyhq avatar Apr 22 '23 02:04 casjyhq

我用的是单张4080 #35

lwh9346 avatar Apr 22 '23 07:04 lwh9346

@casjyhq @YYGe01 各精度模型推理所需显存已经更新到README

txsun1997 avatar Apr 26 '23 05:04 txsun1997