lin-cop

或者设法分发出去，让更多的人维护吧，变成一个社区驱动的项目

 使用模型：moss-moon-003-sft， 命令启动：streamlit run moss_web_demo_streamlit.py --server.port 23421 输入命令后能正常启动加载模型，还有我的模型在本地，没有使用线上的模型 改为 **使用示例** 后还是出现上述问题 单卡部署（适用于A100/A800） 以下是一个简单的调用moss-moon-003-sft生成对话的示例代码，可在单张A100/A800或CPU运行，使用FP16精度时约占用30GB显存： ``` from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("fnlp/moss-moon-003-sft", trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained("fnlp/moss-moon-003-sft", trust_remote_code=True).half().cuda() model = model.eval()...

表示遇到过其中的一些问题，感觉这个模型的测试还不够好多问题