web3aipro

Results 8 comments of web3aipro

[FEATURE] 怎样支持llama3的模型

知识库不支持llama3，没有输出，好奇怪

pip install -U qwen-cpp 报错

这个问题怎么解决？

[BUG] reranker.py 加载模型时输入长度传入错误

改了还是报错啊

[BUG] reranker.py 加载模型时输入长度传入错误

报得错： ![image](https://github.com/chatchat-space/Langchain-Chatchat/assets/166089210/b5c4efd7-e5f8-4955-bf81-654f05462207) 配置文件里面配置： ![image](https://github.com/chatchat-space/Langchain-Chatchat/assets/166089210/9e1f77eb-4903-4731-af1b-192d0da311a4) rerank文件得配置： ![image](https://github.com/chatchat-space/Langchain-Chatchat/assets/166089210/aa4f7f27-29c9-465e-a253-e4fa434e4e5d) 这么改了，还是报图1错误

[BUG] reranker.py 加载模型时输入长度传入错误

开源的reranker模型都是1024，是不是只能做截断啊

es向量库检索如何使用score_threshold

这是个bug，不想关的问题也会被检索到，比如文档是英文的，但查询用中文，会返回不想关的内容

how to release gpu memory when keep onnxruntime session around.

卧槽，我用ragflow遇到这个问题了

使用xinfernece启动DeepSeek-R1-Distill-Qwen-14B时候，通过程序调用接口，发现缺少<think>起始符号，有</think>

这个估计是xinference的bug问题