gavinC

> 同样关注这个问题，想问问楼主有解决吗？ 你用的llm大模型和embedding模型分别都是什么？具体型号？

> 个人理解的是，应该先将上下文的历史消息+问题投喂给大模型，让大模型将问题补充完整 “有没有广告中包含饮酒情节导致违法的案件摘要”，再去知识库中检索，才能从知识库检索出相关的案件，直接“有没有相关案件摘要”拿去知识库检索是检索不出来东西的，我是在knowledge_base_chat.py加的这一步 哈，这个需要手动去做吗？我本来以为是基础能力，感谢提醒

> To address the issue of incorporating conversation history into your queries with the langchain-chatchat library, you can modify the `knowledge_base_chat.py` file. Here's a concise guide on how to do...

> > > > 个人理解的是，应该先将上下文的历史消息+问题投喂给大模型，让大模型将问题补充完整 “有没有广告中包含饮酒情节导致违法的案件摘要”，再去知识库中检索，才能从知识库检索出相关的案件，直接“有没有相关案件摘要”拿去知识库检索是检索不出来东西的，我是在knowledge_base_chat.py加的这一步 > > > > > > > > > 我觉得有道理，直接将第二个问题抛给知识库搜索，确实会搜索不出来。当然langchain-chatchat 在设计中没有考虑这一点，确实不太智能～方不方便问问具体在knowledge_base_chat.py要如何修改呀？ > > > > > > 就是在docs = await run_in_threadpool之前插入一步，completed_query = await complete_query(query,...

hello，我发现知识库对话的时候，他没法结合上一轮对话的内容，这个怎么做呢

> 可以使用penalty_sample来进行采样 --generation_mode penalty_sample > > 或者是将惩罚系数调高一些，这个可以用 python pipeline.py --help 来查看参数说明 > > 如果两种方式都解决不了，可能是因为量化的缘故导致模型性能下降，那就只能用int8或者fp16/bf16了 > > 另外我看你的速度很快，估计是比较小的模型，一般来说这种重复是小模型比较常见的，可以使用7B这样的规格尝试一下 感谢您的回复！！换了采样方式确实有改善，但是在7B的模型中，我发现当我开启第二轮对话的时候，都会出现这种情况， *****第一轮对话**** FTL: 14.625 s TPS: 9.126 token/s Question: 介绍一下九江 Answer: *** bmruntime...

上面被delete的comment包好了一个压缩包链接，说能Fix我的问题，被github风控检测了 ，还好发的是exe，我是linux没法装，估计是木马程序！！！