Langchain-Chatchat
Langchain-Chatchat copied to clipboard
chatchat-space
python init_database.py --recreate-vs提示CUDA没有启用
问题描述 / Problem Description 用简洁明了的语言描述这个问题 / Describe the problem in a clear and concise manner.
复现问题的步骤 / Steps to Reproduce
- 执行 '...' / Run '...'
- 点击 '...' / Click '...'
- 滚动到 '...' / Scroll to '...'
- 问题出现 / Problem occurs
预期的结果 / Expected Result 描述应该出现的结果 / Describe the expected result.
实际结果 / Actual Result 描述实际发生的结果 / Describe the actual result.
环境信息 / Environment Information
langchain-ChatGLM 版本/commit 号：0.2.10
是否使用 Docker 部署（是/否）：no
使用的模型（ChatGLM2-6B / Qwen-7B 等）：ChatGLM3-6B
使用的 Embedding 模型（moka-ai/m3e-base 等）：bge-large-zh
使用的向量库类型 (faiss / milvus / pg_vector 等)： faiss / Vector library used (faiss, milvus, pg_vector, etc.): faiss
操作系统及版本 / Operating system and version:win11
Python 版本 / Python version:3.10
附加信息 / Additional Information 添加与问题相关的任何其他信息 / Add any other information related to the issue. C:\soft\lc>python init_database.py --create-tables 总计用时： 0:00:00.002004
C:\soft\lc>python init_database.py --recreate-vs recreating all vector stores 2024-02-22 14:08:20,241 - faiss_cache.py[line:92] - INFO: loading vector store in 'samples/vector_store/bge-large-zh' from disk. 2024-02-22 14:08:20,607 - SentenceTransformer.py[line:66] - INFO: Load pretrained SentenceTransformer: BAAI\bge-large-zh 2024-02-22 14:08:21,697 - embeddings_api.py[line:39] - ERROR: Torch not compiled with CUDA enabled AttributeError: 'NoneType' object has no attribute 'conjugate'
The above exception was the direct cause of the following exception:
Traceback (most recent call last):
File "C:\soft\lc\init_database.py", line 107, in
python init_database.py --recreate-vs提示CUDA没有启用
nvcc --version nvcc: NVIDIA (R) Cuda compiler driver Copyright (c) 2005-2022 NVIDIA Corporation Built on Wed_Sep_21_10:41:10_Pacific_Daylight_Time_2022 Cuda compilation tools, release 11.8, V11.8.89 Build cuda_11.8.r11.8/compiler.31833905_0
C:\soft\lc>pip show torch Name: torch Version: 2.1.2 Summary: Tensors and Dynamic neural networks in Python with strong GPU acceleration Home-page: https://pytorch.org/ Author: PyTorch Team Author-email: [email protected] License: BSD-3 Location: C:\Users\sync\AppData\Roaming\Python\Python311\site-packages Requires: filelock, fsspec, jinja2, networkx, sympy, typing-extensions Required-by: accelerate, effdet, sentence-transformers, timm, torchaudio, torchvision, xformers
🤖
嘿，@cq134cq！很高兴再次看到你在这里提问。希望你最近一切都好！
根据您提供的信息，您在运行 python init_database.py --recreate-vs 时遇到了 "CUDA not enabled" 的错误，尽管您已经安装了 CUDA 11.8 和 PyTorch 2.1.2。这个问题可能是由于您的 CUDA 版本和 PyTorch 版本之间的兼容性问题。
首先，我注意到您提到的 PyTorch 版本是 2.1.2，但是这个版本并不存在。目前 PyTorch 的最新版本是 1.10.0。如果您的意思是 PyTorch 1.2.0，那么这个版本是不支持 CUDA 11.8 的，PyTorch 1.2.0 支持的是 CUDA 10.0。
为了解决这个问题，您需要安装一个与 CUDA 11.8 兼容的 PyTorch 版本。您可以参考 PyTorch 官网的兼容性矩阵。安装了兼容的 PyTorch 版本后，您应该就能够正常运行命令，而不会出现 "CUDA not enabled" 的错误了。
如果问题仍然存在，您可以在配置文件中手动将 EMBEDDING_DEVICE 和 LLM_DEVICE 设置为 "cuda"：
EMBEDDING_DEVICE = "cuda"
LLM_DEVICE = "cuda"
这将强制程序使用 CUDA 来运行模型。如果 CUDA 已经正确安装并且与您的 PyTorch 版本兼容，这应该可以解决错误。
另外，我在 Langchain-Chatchat 仓库中找到了一些类似的已解决问题，可能对您有所帮助：
这些问题的解决方案都建议检查 PyTorch 和 CUDA 的版本，并根据 PyTorch 提供的兼容性表进行匹配。可能需要降级您的 PyTorch 版本以匹配您的 CUDA 版本。例如，如果您有 CUDA 11.8，可以尝试使用以下命令安装 PyTorch 2.1.1 版本：
pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https://download.pytorch.org/whl/cu118
希望这些信息对您有所帮助。如果问题仍然存在，或者您有其他问题，欢迎随时向我提问。
Sources
- AssertionError: Torch not compiled with CUDA enabled
- 初始化不成功，请指导
- [BUG] Torch 无法激活CUDA
- configs/model_config.py.example
About Dosu
This response is meant to be useful and save you time. It is not meant to be a precise solution, but rather a starting point for your own research.
Help me be more useful! Please leave a 👍 if this is helpful and 👎 if it is irrelevant.
If you want to continue the conversation, start your reply with @dosu-bot.
![dosubot[bot] avatar](https://avatars.githubusercontent.com/in/324583?v=4 "Published by a pub.dev verified publisher"){kind=small}
🤖
嘿，@cq134cq！很高兴再次看到你在这里提问。希望你最近一切都好！
根据您提供的信息，您在运行
python init_database.py --recreate-vs时遇到了 "CUDA not enabled" 的错误，尽管您已经安装了 CUDA 11.8 和 PyTorch 2.1.2。这个问题可能是由于您的 CUDA 版本和 PyTorch 版本之间的兼容性问题。首先，我注意到您提到的 PyTorch 版本是 2.1.2，但是这个版本并不存在。目前 PyTorch 的最新版本是 1.10.0。如果您的意思是 PyTorch 1.2.0，那么这个版本是不支持 CUDA 11.8 的，PyTorch 1.2.0 支持的是 CUDA 10.0。
为了解决这个问题，您需要安装一个与 CUDA 11.8 兼容的 PyTorch 版本。您可以参考 PyTorch 官网的兼容性矩阵。安装了兼容的 PyTorch 版本后，您应该就能够正常运行命令，而不会出现 "CUDA not enabled" 的错误了。
如果问题仍然存在，您可以在配置文件中手动将
EMBEDDING_DEVICE和LLM_DEVICE设置为 "cuda"：EMBEDDING_DEVICE = "cuda" LLM_DEVICE = "cuda"这将强制程序使用 CUDA 来运行模型。如果 CUDA 已经正确安装并且与您的 PyTorch 版本兼容，这应该可以解决错误。
另外，我在 Langchain-Chatchat 仓库中找到了一些类似的已解决问题，可能对您有所帮助：
这些问题的解决方案都建议检查 PyTorch 和 CUDA 的版本，并根据 PyTorch 提供的兼容性表进行匹配。可能需要降级您的 PyTorch 版本以匹配您的 CUDA 版本。例如，如果您有 CUDA 11.8，可以尝试使用以下命令安装 PyTorch 2.1.1 版本：
pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https://download.pytorch.org/whl/cu118希望这些信息对您有所帮助。如果问题仍然存在，或者您有其他问题，欢迎随时向我提问。
Sources
- AssertionError: Torch not compiled with CUDA enabled
- 初始化不成功，请指导
- [BUG] Torch 无法激活CUDA
- configs/model_config.py.example
About Dosu
This response is meant to be useful and save you time. It is not meant to be a precise solution, but rather a starting point for your own research.
Help me be more useful! Please leave a 👍 if this is helpful and 👎 if it is irrelevant.
If you want to continue the conversation, start your reply with @dosu-bot.
谢谢，用这个命令可以 pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https://download.pytorch.org/whl/cu118