MOSS issues

经过简单设置后,MOSS可以在16GB显存的单张显卡上运行

9

![image](https://user-images.githubusercontent.com/58882256/233769232-5102bca8-74a8-429d-b534-e43f638df303.png) 16G显存+32G内存勉强运行，速度比较慢，但也算可以用只需要把`moss_cli_demo.py`中31至33行进行简单修改即可 ```python3 model = load_checkpoint_and_dispatch( raw_model, model_path, device_map="auto", no_split_module_classes=["MossBlock"], dtype=torch.float16, max_memory={0: "12GiB", "cpu": "26GiB"} ) ``` 这边最大GPU内存设置为12GB是为了给CUDA kernels留出空间以避免OOM 参考：[accelerate usage guides](https://huggingface.co/docs/accelerate/usage_guides/big_modeling) 希望可以帮到没有很多卡的业余玩家

lwh9346

fnlp/moss-moon-003-sft-int4 量化版本报错

7

File "/root/.cache/huggingface/modules/transformers_modules/fnlp/moss-moon-003-sft-int4/30d8a4be19ce413bb2a5bab4bfb75f125010ec06/custom_autotune.py", line 93, in run self.cache[key] = builtins.min(timings, key=timings.get) TypeError: '

937739823

Why choose CodeGen as base model

1

Why use CodeGen as base model? not LLama ?

MrRace

关于目前插件功能的使用以及后续的开发的一些疑问

3

请教一个问题，以我目前对 plugin 的理解，是需要通过特定的插件训练数据来让模型知道应该调用那些工具，然后根据用户指令输出需要的工具的占位符如 WebSearch(XXX)，然后再调用相应的接口完成这部分结果，将结果替换掉 WebSearch(XXX) -> YYYY，最后再跟之前的结果一起再次喂给模型。目前所了解的似乎是这样的，类似于 [ToolFormer](https://arxiv.org/abs/2302.04761) 的思路。 > 作者：孙天祥链接：https://www.zhihu.com/question/596908242/answer/2994534005 来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 > 为了帮助MOSS决定调用什么API、传入什么参数，以及帮助MOSS通过类似思维链的方式提升推理能力，我们还给MOSS增加了Inner Thoughts作为输出，即在MOSS决定调用API以及回复之前首先输出其“内心想法”，具体格式为 ``` : ... : ... : ... : ... : ... ```...

xerrors

申请API

你好,本人硬件资源有限,但又十分想尝试MOSS,而且MOSS内测申请还不下来。所以想申请API调用,快速部署,望能提供,谢谢,也感谢复旦团队的开源贡献.

BeckShe

meta_instruction问题

1

如果说调用plugin插件需要额外的prompt信息是可以理解的。但是普通对话为什么要引入meta_instruction？即便想靠prompt引导模型输出正向结果，这个encode之后长度有200多是不是太浪费了？

JaheimLee

For debugging consider passing CUDA_LAUNCH_BLOCKING=1

3

Hi， great job! I run the demo program on a single 4090 (24g) video memory, and it can be started, but when asking questions, it will report the following error:...

licongguan