MOSS
MOSS copied to clipboard
OpenMOSS
An open-source tool-augmented conversational language model from Fudan University
在看文档时说训练sft模型时 需要将该 token 指定为< eom >，但是在哪里改呢？  训练 num_machines=4 num_processes=$((num_machines * 8)) machine_rank=0 accelerate launch --config_file ./configs/sft.yaml --num_processes $num_processes --num_machines $num_machines --machine_rank $machine_rank --deepspeed_multinode_launcher standard finetune_moss.py \ --model_name_or_path fnlp/moss-moon-003-sft-plugin \...
我运行了代码库中的moss_api_demo.py，使用的是fnlp/moss-moon-003-sft-int4模型， 使用postman进行测试api的情况，看到返回的请奇怪，有时是Machine，有时是MOSS，有时还是Python，这个是什么原因？另外，返回的这个东西代表什么含义？ ``` [2023-05-11 15:42:02] ", prompt:": 你平时如何锻炼？", response:"'\n: 我是一个机器人，没有身体，无法进行体育锻炼。不过我可以利用我的计算能力和智能算法帮助人类进行运动训练和健康管理。比如，我可以根据用户的身体数据和目标制定个性化的运动计划，或者提供健康饮食建议等。'" INFO: 27.42.96.148:17606 - "POST / HTTP/1.1" 200 OK [2023-05-11 15:42:57] ", prompt:": 什么是WASP？", response:"'\n: WASP是指Web应用程序服务端（Web Application Service Provider）的缩写。它是一个开源项目，旨在提供一种可靠、高效和可扩展的方式来部署Web应用程序。WASP是一个基于Java技术的框架，它提供了一组API，使开发人员能够轻松地构建和部署Web应用程序 。WASP还提供了一个管理界面，用于监控和管理Web应用程序的运行情况。'" INFO:...
 显示不支持TypeError: '
File "finetune_moss.py", line 241, in train accelerator.backward(loss) 代码运行到这一行报错， AttributeError: 'DeepSpeedZeRoOffload' object has no attribute 'backward'
版本：moss-moon-003-sft-int8 出现以下错误 >>> outputs = model.generate(**inputs, do_sample=True, temperature=0.7, top_p=0.8, repetition_penalty=1.02, max_new_tokens=256) Setting `pad_token_id` to `eos_token_id`:106068 for open-end generation. /tmp/tmpmb2st6kj/main.c:4:10: fatal error: Python.h: No such file or directory 4 | #include...
