输出answer的时间很长，是否可以把文本向量化的部分提前做好存储起来？

[sherrylml]

trafficstars

GPU：4090 24G显存 输入一篇5000字的文档后，输入问题根据文档输出答案，一个问题要好几分钟才显示答案，且第二个问题时就会out of memory

请问： （1）这个效率是否正常 （2）如果正常，是否可以把文本向量化的部分提前做好存储起来？

因为输入文档路径后，会经历读取文本-文本分割-文本向量化-提问向量化-在文本向量中匹配与提问向量最相似的top k个-匹配出文本作为上下文和问题一起添加到prompt中--提交LLM生成答案。是否可以把文本向量化的部分提前做好存储起来？

[imClumsyPanda]

1 刚更新了项目代码，可以有效解决爆显存问题 2 目前的函数已经分为生成 vector_store 和基于 vector_store 问答，中间可以使用 save_local 和 load_local 进行 vector_store 的存储和载入，具体可以参考 langchain 文档相关章节。

[dydwgmcnl4241]

的确好慢。。。。save_local 和 load_local 的逻辑在knowledge_based_chatglm.py里没找到哈。求指点

[imClumsyPanda]

@sherrylml @dydwgmcnl4241 langchain 文档

[imClumsyPanda]

今天发布的v 0.1.0版本中，已增加 vectorstore 的存储和加载，并将在后续支持基于vectorstore 存储路径名称的 api 调用