希望支持llama3的模型，看数据，应该比原先的llama2好很多。

Apr 23 '24 14:04 ThornbirdZhang

直接调，没问题，huggingface有这个模型，然后单独写个prompt就行，不然他会一直默认中文，然后看起来还有一些小问题，要么改prompt，要么等优化版本

Apr 24 '24 00:04 china-gcg

我搞进去用了，体验感直线下降，会循环不停输出，会中英文夹杂着来，再等等吧

Apr 24 '24 03:04 rogermayo182

用国人搞的中文微调试试

---- 回复的原邮件 ---- | 发件人 | @.> | | 日期 | 2024年04月24日 11:55 | | 收件人 | @.> | | 抄送至 | @.>@.> | | 主题 | Re: [chatchat-space/Langchain-Chatchat] [FEATURE] 怎样支持llama3的模型 (Issue #3860) |

我搞进去用了，体验感直线下降，会循环不停输出，会中英文夹杂着来，再等等吧

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

Apr 24 '24 03:04 china-gcg

刚看了一下，我的部署是0.2.4的，是否已经太老，才导致没法直接使用的？你们可以直接掉，是用那个版本的？

Apr 24 '24 04:04 ThornbirdZhang

知识库不支持llama3，没有输出，好奇怪

Apr 24 '24 09:04 web3aipro

2.10

---- 回复的原邮件 ---- | 发件人 | @.> | | 日期 | 2024年04月24日 12:01 | | 收件人 | @.> | | 抄送至 | @.>@.> | | 主题 | Re: [chatchat-space/Langchain-Chatchat] [FEATURE] 怎样支持llama3的模型 (Issue #3860) |

刚看了一下，我的部署是0.2.4的，是否已经太老，才导致没法直接使用的？你们可以直接掉，是用那个版本的？

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

Apr 24 '24 09:04 china-gcg

想请教一下各位大佬, llama3 是不是需要在 hugging face上申请才能下载呀？

或者大家有用过什么好的本地模型推荐不？我现在用Qwen-1.5-7b-chat, Qwen-1.5-14b-chat做知识库问答，回答效果都不太理想。

Apr 25 '24 06:04 zixiaotan21

应该跟模型没关系吧？你想要更好的效果，切分文档得自己另外搞。我是看其他人说的，仅供参考

| | gcgdgcg | | @.*** | ---- 回复的原邮件 ---- | 发件人 | @.> | | 发送日期 | 2024年4月25日 14:37 | | 收件人 | @.> | | 抄送人 | @.>, @.> | | 主题 | Re: [chatchat-space/Langchain-Chatchat] [FEATURE] 怎样支持llama3的模型 (Issue #3860) |

想请教一下各位大佬, llama3 是不是需要在 hugging face上申请才能下载呀？

或者大家有用过什么好的本地模型推荐不？我现在用Qwen-1.5-7b-chat, Qwen-1.5-14b-chat做知识库问答，回答效果都不太理想。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

Apr 25 '24 06:04 china-gcg

应该跟模型没关系吧？你想要更好的效果，切分文档得自己另外搞。我是看其他人说的，仅供参考 | | gcgdgcg | | @.*** | ---- 回复的原邮件 ---- | 发件人 | @.> | | 发送日期 | 2024年4月25日 14:37 | | 收件人 | @.> | | 抄送人 | @.>, @.> | | 主题 | Re: [chatchat-space/Langchain-Chatchat] [FEATURE] 怎样支持llama3的模型 (Issue #3860) | 想请教一下各位大佬, llama3 是不是需要在 hugging face上申请才能下载呀？或者大家有用过什么好的本地模型推荐不？我现在用Qwen-1.5-7b-chat, Qwen-1.5-14b-chat做知识库问答，回答效果都不太理想。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

谢谢！分词器我重新换过了，用了MarkdownheaderTextsplitter。我知识库文件进行了下面的预处理，现在可以将不同的问答对，QA1, QA2, 切分为不同的向量。

# 问题1

## 问题
XXX

## 回答
XXX

#问题2

## 问题
XXX

## 回答
XXX

现在知识库问答的时候，提问问题1，可以精确匹配答案1，但回答的时候，LLM感觉还是会在答案1 的基础上，要么少说一点，要么会多说（胡编），是我LLM推理能力的问题吗？

Apr 25 '24 09:04 zixiaotan21

我记得有个温度指标，就是大模型参与的能力，或者写个模板告诉他不能输出别的东西，没有就说没有

| | gcgdgcg | | @.*** | ---- 回复的原邮件 ---- | 发件人 | @.> | | 发送日期 | 2024年4月25日 17:09 | | 收件人 | @.> | | 抄送人 | @.>, @.> | | 主题 | Re: [chatchat-space/Langchain-Chatchat] [FEATURE] 怎样支持llama3的模型 (Issue #3860) |

应该跟模型没关系吧？你想要更好的效果，切分文档得自己另外搞。我是看其他人说的，仅供参考 | | gcgdgcg | | @.*** | ---- 回复的原邮件 ---- | 发件人 | @.> | | 发送日期 | 2024年4月25日 14:37 | | 收件人 | @.> | | 抄送人 | @.>, @.> | | 主题 | Re: [chatchat-space/Langchain-Chatchat] [FEATURE] 怎样支持llama3的模型 (Issue #3860) | 想请教一下各位大佬, llama3 是不是需要在 hugging face上申请才能下载呀？或者大家有用过什么好的本地模型推荐不？我现在用Qwen-1.5-7b-chat, Qwen-1.5-14b-chat做知识库问答，回答效果都不太理想。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

谢谢！分词器我重新换过了，用了MarkdownheaderTextsplitter。我知识库文件进行了下面的预处理，现在可以将不同的问答对，QA1, QA2, 切分为不同的向量。

问题1

问题

XXX

回答

XXX

#问题2

问题

XXX

回答

XXX

现在知识库问答的时候，提问问题1，可以精确匹配答案1，但回答的时候，LLM感觉还是会在答案1 的基础上，要么少说一点，要么会多说（胡编），是我LLM推理能力的问题吗？

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

Apr 25 '24 09:04 china-gcg

我记得有个温度指标，就是大模型参与的能力，或者写个模板告诉他不能输出别的东西，没有就说没有

| | gcgdgcg | | @.*** | ---- 回复的原邮件 ---- | 发件人 | @.> | | 发送日期 | 2024年4月25日 17:09 | | 收件人 | @.> | | 抄送人 | @.>, @.> | | 主题 | Re: [chatchat-space/Langchain-Chatchat] [FEATURE] 怎样支持llama3的模型 (Issue #3860) |

应该跟模型没关系吧？你想要更好的效果，切分文档得自己另外搞。我是看其他人说的，仅供参考 | | gcgdgcg | | @.*** | ---- 回复的原邮件 ---- | 发件人 | @.> | | 发送日期 | 2024年4月25日 14:37 | | 收件人 | @.> | | 抄送人 | @.>, @.> | | 主题 | Re: [chatchat-space/Langchain-Chatchat] [FEATURE] 怎样支持llama3的模型 (Issue #3860) | 想请教一下各位大佬, llama3 是不是需要在 hugging face上申请才能下载呀？或者大家有用过什么好的本地模型推荐不？我现在用Qwen-1.5-7b-chat, Qwen-1.5-14b-chat做知识库问答，回答效果都不太理想。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

谢谢！分词器我重新换过了，用了MarkdownheaderTextsplitter。我知识库文件进行了下面的预处理，现在可以将不同的问答对，QA1, QA2, 切分为不同的向量。

问题1

问题

XXX

回答

XXX

#问题2

问题

XXX

回答

XXX

现在知识库问答的时候，提问问题1，可以精确匹配答案1，但回答的时候，LLM感觉还是会在答案1 的基础上，要么少说一点，要么会多说（胡编），是我LLM推理能力的问题吗？

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>