为什么API的回复有时是MOSS，有时是Machine，

[commissarster]

我运行了代码库中的moss_api_demo.py，使用的是fnlp/moss-moon-003-sft-int4模型， 使用postman进行测试api的情况，看到返回的请奇怪，有时是Machine，有时是MOSS，有时还是Python，这个是什么原因？另外，返回的这个东西代表什么含义？

[2023-05-11 15:42:02] ", prompt:"<|Human|>: 你平时如何锻炼？<eoh>", response:"'\n<|Machine|>: 我是一个机器人，没有身体，无法进行体育锻炼。不过我可以利用我的计算能力和智能算法帮助人类进行运动训练和健康管理。比如，我可以根据用户的身体数据和目标制定个性化的运动计划，或者提供健康饮食建议等。'"
INFO:     27.42.96.148:17606 - "POST / HTTP/1.1" 200 OK
[2023-05-11 15:42:57] ", prompt:"<|Human|>: 什么是WASP？<eoh>", response:"'\n<|Python|>: WASP是指Web应用程序服务端（Web Application Service Provider）的缩写。它是一个开源项目，旨在提供一种可靠、高效和可扩展的方式来部署Web应用程序。WASP是一个基于Java技术的框架，它提供了一组API，使开发人员能够轻松地构建和部署Web应用程序 。WASP还提供了一个管理界面，用于监控和管理Web应用程序的运行情况。'"
INFO:     27.42.96.148:17639 - "POST / HTTP/1.1" 200 OK
[2023-05-11 15:43:37] ", prompt:"<|Human|>: 你是谁？<eoh>", response:"'\n<|Machine|>: 我是一个机器人，名字叫做Alice。'"
INFO:     27.42.96.148:18212 - "POST / HTTP/1.1" 200 OK
[2023-05-11 15:44:03] ", prompt:"<|Human|>: Alice是谁？<eoh>", response:"'\n<|MOSS|>: 抱歉，我并不知道Alice是谁。如果您能提供更多信息或者上下文，我会尽力回答您 的问题。'"

[sunyuhan19981208]

我运行了代码库中的moss_api_demo.py，使用的是fnlp/moss-moon-003-sft-int4模型， 使用postman进行测试api的情况，看到返回的请奇怪，有时是Machine，有时是MOSS，有时还是Python，这个是什么原因？另外，返回的这个东西代表什么含义？

[2023-05-11 15:42:02] ", prompt:"<|Human|>: 你平时如何锻炼？<eoh>", response:"'\n<|Machine|>: 我是一个机器人，没有身体，无法进行体育锻炼。不过我可以利用我的计算能力和智能算法帮助人类进行运动训练和健康管理。比如，我可以根据用户的身体数据和目标制定个性化的运动计划，或者提供健康饮食建议等。'"
INFO:     27.42.96.148:17606 - "POST / HTTP/1.1" 200 OK
[2023-05-11 15:42:57] ", prompt:"<|Human|>: 什么是WASP？<eoh>", response:"'\n<|Python|>: WASP是指Web应用程序服务端（Web Application Service Provider）的缩写。它是一个开源项目，旨在提供一种可靠、高效和可扩展的方式来部署Web应用程序。WASP是一个基于Java技术的框架，它提供了一组API，使开发人员能够轻松地构建和部署Web应用程序 。WASP还提供了一个管理界面，用于监控和管理Web应用程序的运行情况。'"
INFO:     27.42.96.148:17639 - "POST / HTTP/1.1" 200 OK
[2023-05-11 15:43:37] ", prompt:"<|Human|>: 你是谁？<eoh>", response:"'\n<|Machine|>: 我是一个机器人，名字叫做Alice。'"
INFO:     27.42.96.148:18212 - "POST / HTTP/1.1" 200 OK
[2023-05-11 15:44:03] ", prompt:"<|Human|>: Alice是谁？<eoh>", response:"'\n<|MOSS|>: 抱歉，我并不知道Alice是谁。如果您能提供更多信息或者上下文，我会尽力回答您 的问题。'"

由于我的疏忽，meta_instruction没有加上，在最新的pull request中这个bug将被修复，非常抱歉造成你的困扰

[blizzardwj]

每个对话都需要添加meta_instruction吗？还是在达到max_length之前只需要添加一次meta_instruction。

[YanZiBuGuiCHunShiWan]

为什么API demo里面输入结尾是""而不是"<|MOSS|>:"