question ：文档向量化这个可以自己手动实现么？

[ucas010]

现有公司级数据500G+，需要使用这个功能，请问如何手动实现这个向量化，然后并加载 感谢。

[net592]

#生成向量库，有专门lib可以看下langchain支持的库，转换完后写入数据 我遇到这种问题 Q：XX软件官网在哪 A：XX软件官网的地址是hioffice. jd. com。 本地向量库 会把网站网址 .都加一了空格，这种大佬怎么调整；

[YidaHu]

现有公司级数据500G+，需要使用这个功能，请问如何手动实现这个向量化，然后并加载 感谢。

利用emebdding模块把数据向量化，修改vectorstores模块把向量存储到milvus中，向量检索直接从milvus中查询，最后把匹配出的文本作为上下文和问题一起添加到prompt中给LLM。这样应该能实现你的功能吧

[net592]

谢谢您的邮件。我会尽快回复您！                                          

[ucas010]

@YidaHu 大佬，文本向量化这块咋修改的啊？

[hzg0601]

其实你只要额外写一个循环，不断调用local_doc_qa.py文件里，LocalDoCQA类的init_knowledge_vector_store方法就可以实现，

[Leawnn]

请问您是如何存储的呢，50G的数据生成的向量很大吧？