GLM-130B icon indicating copy to clipboard operation
GLM-130B copied to clipboard
verified publisher icon THUDM

请问这个模型，有办法在单张3090跑起来推理吗

Open ykallan opened this issue 2 years ago • 2 comments

ykallan avatar Mar 29 '23 03:03 ykallan

我觉得不太可能，除非也出个int4版本的

ZanoZ avatar Mar 31 '23 13:03 ZanoZ

不可能。。。。

cywjava avatar Apr 25 '23 08:04 cywjava