local_doc_qa/local_doc_chat 接口响应是串行

[ferrymo]

问题描述 / Problem Description local_doc_qa/local_doc_chat 接口调用是串行

复现问题的步骤 / Steps to Reproduce

1. 执行 执行python3 api.py
2. 调用 local_doc_qa/local_doc_chat

增加调用日志发现同一时期有一个调用又日志输出，整个调用过程的日志并未出现多线程一样乱序的日志，都是整齐的一个个输出到最最后。

预期的结果 / Expected Result 应该是要支持调用的并行，否则无法使用

实际结果 / Actual Result 接口响应是串行

环境信息 / Environment Information

• langchain-ChatGLM 版本/commit 号： v0.1.12
• 是否使用 Docker 部署（是/否）：是 / Is Docker deployment used (yes/no): no
• 使用的模型（ChatGLM-6B / ClueAI/ChatYuan-large-v2 等）：ChatGLM-6B / Model used (ChatGLM-6B / ClueAI/ChatYuan-large-v2, etc.): ChatGLM-6B
• 使用的 Embedding 模型（GanymedeNil/text2vec-large-chinese 等）：GanymedeNil/text2vec-large-chinese / Embedding model used (GanymedeNil/text2vec-large-chinese, etc.): GanymedeNil/text2vec-large-chinese
• 操作系统及版本 / Operating system and version:
• Python 版本 / Python version: 3.10.6
• 其他相关环境信息 / Other relevant environment information: 4*3090

附加信息 / Additional Information 添加与问题相关的任何其他信息 / Add any other information related to the issue.

[cristianohello]

+1111111

[cristianohello]

@ferrymo 你实现并行了吗？

[undo-nothing]

+1

[Alex-Zuo-One]

+1