lijiajun1997

> mark下，BM25分词不是很好，后续看看有没有好的分词方法。 建议在知识库匹配的选项里增加传统的精准匹配，用于型号、编号问答场景，让用户设置编号的正则表达或者用提取功能。

Same problem when using vllm+chatglm3+oneapi+fastgpt. Not sure what part goes wrong

> 我的问题解决了，我是用的oneapi接入了fastgpt，然后我在fastgpt的配置文件中加上了结束的参数 | im_end |就好了 求分享

> minimax 的语音模型也很不错，可以兼容兼容。。 +1 哈哈哈

> 用的什么大模型推理框架？ GPT3.5

重构的时候能否顺便把chat with pdf的功能实现了，理论上是能在重构中解决的。 方案是在上传PDF后，在临时的知识库中导入这个文件，然后在编排中把这个文件作为被选择的知识库。 对于总结和提问两种问题进行分流，总结需要遍历每个chunk,如果超过模型上限可以分步执行，提问用向量检索就好。

tool调用多个工具或者执行多步骤的时候可能会超过token，可以考虑分开执行，再汇总。

是的 但是不可控上传的文档到底有多长 是一次性给文本给gpt还是走RAG 李嘉俊 ***@***.***   ------------------ 原始邮件 ------------------ 发件人: "labring/FastGPT" ***@***.***>; 发送时间: 2024年4月16日(星期二) 晚上11:42 ***@***.***>; ***@***.******@***.***>; 主题: Re: [labring/FastGPT] 工作流重构方案(4月执行，旧版工作流问题不再回复） (Issue #1140) 重构的时候能否顺便把chat with pdf的功能实现了，理论上是能在重构中解决的。 方案是在上传PDF后，在临时的知识库中导入这个文件，然后在编排中把这个文件作为被选择的知识库。 对于总结和提问两种问题进行分流，总结需要遍历每个chunk,如果超过模型上限可以分步执行，提问用向量检索就好。 直接用长上下文模型解决岂不是更好。 — Reply to this email...

工具插件是否可以有输出模块，需要设计一个复杂的决策链，需要调用多轮递归。

> 本地部署时，时钟不生效。另外，能不能把语音输入直接整合进去 我本地部署时钟是有效的。语音输入也需要模型去计算的，除非找一个免费的API。