Langchain-Chatchat icon indicating copy to clipboard operation
Langchain-Chatchat copied to clipboard

向量化时不使用GPU

Open 15731807423 opened this issue 1 year ago • 6 comments

知识库中的文件向量化时用的是CPU,怎么设置成GPU

15731807423 avatar Aug 15 '24 03:08 15731807423

您好,解决了吗?

hzk866 avatar Aug 17 '24 00:08 hzk866

您好,找到了吗?

没有

15731807423 avatar Aug 17 '24 03:08 15731807423

你是指哪一块? ocr 要开启 gpu 的话,需要手动安装 gpu 版的 rapidocr_paddle,程序会自动识别。但这个不稳定,不能保证成功。 Embedding 现在都是走 API,用不用 GPU 要看你模型加载框架如何设置。

liunux4odoo avatar Aug 28 '24 13:08 liunux4odoo

你是指哪一块? ocr 要开启 gpu 的话,需要手动安装 gpu 版的 rapidocr_paddle,程序会自动识别。但这个不稳定,不能保证成功。 Embedding 现在都是走 API,用不用 GPU 要看你模型加载框架如何设置。

docker部署 怎么使用rapidocr_paddle gpu版本,能否给个具体的解决方案呢

JohnnieLZ avatar Sep 07 '24 15:09 JohnnieLZ

我这边解决了 image 具体方法: 安装pip install rapidocr_paddle[gpu] pyproject.toml新增依赖rapidocr_paddle = { version = "*", extras = ["gpu"] } poetry update 下面这一步也可以不操作 调整ocr.py文件路径在chatchat/server/file_rag/document_loaders/ocr.py image 强制使用GPU ocr = RapidOCR( det_use_cuda=True, cls_use_cuda=True, rec_use_cuda=True )

JohnnieLZ avatar Sep 11 '24 02:09 JohnnieLZ

你是指哪一块? ocr 要开启 gpu 的话,需要手动安装 gpu 版的 rapidocr_paddle,程序会自动识别。但这个不稳定,不能保证成功。 Embedding 现在都是走 API,用不用 GPU 要看你模型加载框架如何设置。

rapidocr_paddle装了有用,使用GPU开始跑OCR了

MagicBYang avatar Mar 03 '25 06:03 MagicBYang

这个问题已经被标记为 stale ,因为它已经超过 30 天没有任何活动。

github-actions[bot] avatar Sep 28 '25 21:09 github-actions[bot]

这个问题已经被自动关闭,因为它被标为 stale 后超过 14 天没有任何活动。

github-actions[bot] avatar Oct 13 '25 21:10 github-actions[bot]