MOSS issues

跑“多卡部署（适用于两张或以上NVIDIA 3090）”的实例代码可以产生response，但是moss_cli_demo.py就始终卡住

2

问题1: [root@LLM01GPU MOSS-main]# vi moss_cli_demo.py [root@LLM01GPU MOSS-main]# python moss_cli_demo.py 欢迎使用 MOSS 人工智能助手！输入内容即可进行对话。输入 clear 以清空对话历史，输入 stop 以终止对话。 : 你好MOSS ---------------------------然后就一致卡在这里-------------------------------------- 问题2：运行多卡部署，我的input是给我五部科幻电影，但是output却是又随生成了一些。 1. 《星际穿越》 2. 《火星救援》 3. 《地心引力》 4. 《降临》 5....

acbogeh

plugin模型，有用python代码写的使用例子吗？而非只是动态图片

7

plugin模型，有用python代码写的使用例子吗？而非只是动态图片

hanswang73

huggingface上的示例代码

huggingface上的示例代码的meta_instruction，为啥不用中文写？

hanswang73

申请API

谢谢

pronoobe

参考chatglm的int8来低成本部署moss

1

参考chatglm-6b的[moss的int8量化部署](https://github.com/Tongjilibo/bert4torch/blob/master/examples/basic/basic_language_model_moss.py)，单卡最低占用约18个G，此外也有转chatglm-6b、bella、llama-7b的推理(含量化版本，单卡12G可跑)及微调，见[bert4torch](https://github.com/Tongjilibo/bert4torch/blob/master/examples/llm/README.md)

Tongjilibo