输出answer的时间很长，是否可以把文本向量化的部分提前做好存储起来？

[sherrylml]

GPU：4090 24G显存 输入一篇5000字的文档后，输入问题根据文档输出答案，一个问题要好几分钟才显示答案，且第二个问题时就会out of memory

请问： （1）这个效率是否正常 （2）如果正常，是否可以把文本向量化的部分提前做好存储起来？

因为输入文档路径后，会经历读取文本-文本分割-文本向量化-提问向量化-在文本向量中匹配与提问向量最相似的top k个-匹配出文本作为上下文和问题一起添加到prompt中--提交LLM生成答案。是否可以把文本向量化的部分提前做好存储起来？