Langchain-Chatchat
Langchain-Chatchat copied to clipboard
chatchat-space
如果没有检索到相关性比较高的，回答“我不知道”
其实现在prompttemplate有这个内容 但glm-6b没有按照预期生成
Yingxuan Li @.***>于2023年4月26日 周三18:14写道：
如果通过设计system_template，让模型在搜索到的文档都不太相关的情况下回答“我不知道”
— Reply to this email directly, view it on GitHub https://github.com/imClumsyPanda/langchain-ChatGLM/issues/181, or unsubscribe https://github.com/notifications/unsubscribe-auth/ABLH5EQMPAGSJVYCIIK2SH3XDDYRDANCNFSM6AAAAAAXMG2FMA . You are receiving this because you are subscribed to this thread.Message ID: @.***>
v0.1.6版本中已经把 prompt_template 提到 configs/model_configs 中进行设置，建议测试不同 prompt 的影响，可能能够实现效果优化。
有没有发现，模型对特定检索的语料的回答问题的结果非常差，基本不可用，而且，无论如何设置，特别对于根本和检索出来的语料不匹配的情况下，模型仍然会自己回答，永远不会出现，“我不知道”这种情况。这是模型的bug吗？
可以从调整prompt template角度来测试一下，相同prompt template在输入给不同llm的时候，如果有的llm生效了，只能说这种prompt对其他几个模型无效，这个过程感觉会需要大量调试
Anne Stake @.***>于2023年4月30日 周日15:25写道：
有没有发现，模型对特定检索的语料的回答问题的结果非常差，基本不可用，而且，无论如何设置，特别对于根本和检索出来的语料不匹配的情况下，模型仍然会自己回答，永远不会出现，“我不知道”这种情况。这是模型的bug吗？
— Reply to this email directly, view it on GitHub https://github.com/imClumsyPanda/langchain-ChatGLM/issues/181#issuecomment-1528958792, or unsubscribe https://github.com/notifications/unsubscribe-auth/ABLH5ERYWHEY7DUUYYJ7LI3XDYHVXANCNFSM6AAAAAAXMG2FMA . You are receiving this because you commented.Message ID: @.***>
感谢您的及时回复，不知道有没有合适可以解决这个问题的chatglm的template可以分享。
Noong Linggo, Abril 30, 2023, isinulat ng imClumsyPanda < @.***> ang:
可以从调整prompt template角度来测试一下，相同prompt template在输入给不同llm的时候，如果有的llm生效了，只能说这种prompt对其他几个模型无效，这个过程感觉会需要大量调试
Anne Stake @.***>于2023年4月30日 周日15:25写道：
有没有发现，模型对特定检索的语料的回答问题的结果非常差，基本不可用，而且，无论如何设置，特别对于根本和检索出来的语料不匹配的情况下， 模型仍然会自己回答，永远不会出现，“我不知道”这种情况。这是模型的bug吗？
— Reply to this email directly, view it on GitHub <https://github.com/imClumsyPanda/langchain-ChatGLM/issues/181# issuecomment-1528958792>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/ ABLH5ERYWHEY7DUUYYJ7LI3XDYHVXANCNFSM6AAAAAAXMG2FMA> . You are receiving this because you commented.Message ID: @.***>
— Reply to this email directly, view it on GitHub https://github.com/imClumsyPanda/langchain-ChatGLM/issues/181#issuecomment-1528959032, or unsubscribe https://github.com/notifications/unsubscribe-auth/AW3YHM4PO2EHQIRVBFEU5TTXDYH4HANCNFSM6AAAAAAXMG2FMA . You are receiving this because you commented.Message ID: @.***>
