向量化时不使用GPU
知识库中的文件向量化时用的是CPU,怎么设置成GPU
您好,解决了吗?
您好,找到了吗?
没有
你是指哪一块? ocr 要开启 gpu 的话,需要手动安装 gpu 版的 rapidocr_paddle,程序会自动识别。但这个不稳定,不能保证成功。 Embedding 现在都是走 API,用不用 GPU 要看你模型加载框架如何设置。
你是指哪一块? ocr 要开启 gpu 的话,需要手动安装 gpu 版的 rapidocr_paddle,程序会自动识别。但这个不稳定,不能保证成功。 Embedding 现在都是走 API,用不用 GPU 要看你模型加载框架如何设置。
docker部署 怎么使用rapidocr_paddle gpu版本,能否给个具体的解决方案呢
我这边解决了
具体方法:
安装pip install rapidocr_paddle[gpu]
pyproject.toml新增依赖rapidocr_paddle = { version = "*", extras = ["gpu"] }
poetry update
下面这一步也可以不操作
调整ocr.py文件路径在chatchat/server/file_rag/document_loaders/ocr.py
强制使用GPU
ocr = RapidOCR(
det_use_cuda=True, cls_use_cuda=True, rec_use_cuda=True
)
你是指哪一块? ocr 要开启 gpu 的话,需要手动安装 gpu 版的 rapidocr_paddle,程序会自动识别。但这个不稳定,不能保证成功。 Embedding 现在都是走 API,用不用 GPU 要看你模型加载框架如何设置。
rapidocr_paddle装了有用,使用GPU开始跑OCR了
这个问题已经被标记为 stale ,因为它已经超过 30 天没有任何活动。
这个问题已经被自动关闭,因为它被标为 stale 后超过 14 天没有任何活动。