显卡支持列表

[HHxiaoxiong]

1.目前不支持Tesla P100显卡，后续可以添加支持吗 2.能公开显卡的支持列表吗？

[HiddenPeak]

qanything-container-local | [notice] A new release of pip is available: 23.3.2 -> 24.0 qanything-container-local | [notice] To update, run: python3 -m pip install --upgrade pip qanything-container-local | GPU ID: 0, 1 qanything-container-local | 您的显卡型号 NVIDIA RTX A6000 不在支持列表中，请联系技术支持。

我也发一个吧

[HHxiaoxiong]

这是来自QQ邮箱的假期自动回复邮件。您好，我最近正在休假中，无法亲自回复您的邮件。我将在假期结束后，尽快给您回复。

[tyut-pengkai]

qanything-container-local | [notice] A new release of pip is available: 23.3.2 -> 24.0 qanything-container-local | [notice] To update, run: python3 -m pip install --upgrade pip qanything-container-local | GPU ID: 0, 1 qanything-container-local | 您的显卡型号 NVIDIA RTX A6000 不在支持列表中，请联系技术支持。

我也发一个吧

追加一个： qanything-container-local | [notice] A new release of pip is available: 23.3.2 -> 24.0 qanything-container-local | [notice] To update, run: python3 -m pip install --upgrade pip qanything-container-local | GPU ID: 0, 0 qanything-container-local | 您的显卡型号 NVIDIA RTX A5000 不在支持列表中，请联系技术支持。

[kenhy]

qanything-container-local | [notice] A new release of pip is available: 23.3.2 -> 24.0 qanything-container-local | [notice] To update, run: python3 -m pip install --upgrade pip qanything-container-local | GPU ID: 0, 0 qanything-container-local | 您的显卡型号 NVIDIA GeForce RTX 4060 Laptop GPU 不在支持列表中，请联系技术支持。 再追加一个

[laplace101]

Is there any way to fix it

[wildish]

qanything-container-local | [notice] A new release of pip is available: 23.3.2 -> 24.0 qanything-container-local | [notice] To update, run: python3 -m pip install --upgrade pip qanything-container-local | GPU ID: 0, 1 qanything-container-local | 您的显卡型号 NVIDIA RTX A6000 不在支持列表中，请联系技术支持。 我也发一个吧

追加一个： qanything-container-local | [notice] A new release of pip is available: 23.3.2 -> 24.0 qanything-container-local | [notice] To update, run: python3 -m pip install --upgrade pip qanything-container-local | GPU ID: 0, 0 qanything-container-local | 您的显卡型号 NVIDIA RTX A5000 不在支持列表中，请联系技术支持。

A5000可以修改下源码来支持

1. 修改./scripts/gpu_capabilities.json，增加"NVIDIA RTX A5000": 8.6, ，使用8.6的算力值可以默认开启GPU OCR和vllm
2. 修改./scripts/run_for_local_option.sh，在152行gpu_series=$(echo $gpu_model | grep -oP '(RTX\s*(30|40)|A(10|30|40|100|800))')修改为gpu_series=$(echo $gpu_model | grep -oP '(RTX\s*(30|40)|A(10|30|40|100|800|5000))'),修改后会避免vllm模式下模型加载失败。

然后按照官方文档部署就可以了。其他型号应该也可以通过类似的方法实现兼容。

[tyut-pengkai]

qanything-container-local | [notice] A new release of pip is available: 23.3.2 -> 24.0 qanything-container-local | [notice] To update, run: python3 -m pip install --upgrade pip qanything-container-local | GPU ID: 0, 1 qanything-container-local | 您的显卡型号 NVIDIA RTX A6000 不在支持列表中，请联系技术支持。 我也发一个吧

追加一个： qanything-container-local | [notice] A new release of pip is available: 23.3.2 -> 24.0 qanything-container-local | [notice] To update, run: python3 -m pip install --upgrade pip qanything-container-local | GPU ID: 0, 0 qanything-container-local | 您的显卡型号 NVIDIA RTX A5000 不在支持列表中，请联系技术支持。

A5000可以修改下源码来支持

1. 修改./scripts/gpu_capabilities.json，增加"NVIDIA RTX A5000": 8.6, ，使用8.6的算力值可以默认开启GPU OCR和vllm
2. 修改./scripts/run_for_local_option.sh，在152行gpu_series=$(echo $gpu_model | grep -oP '(RTX\s*(30|40)|A(10|30|40|100|800))')修改为gpu_series=$(echo $gpu_model | grep -oP '(RTX\s*(30|40)|A(10|30|40|100|800|5000))'),修改后会避免vllm模式下模型加载失败。

然后按照官方文档部署就可以了。其他型号应该也可以通过类似的方法实现兼容。

感谢，后续看了一下shell脚本，已经解决了，谢谢回答及帮助！

[tyut-pengkai]

qanything-container-local | [notice] A new release of pip is available: 23.3.2 -> 24.0 qanything-container-local | [notice] To update, run: python3 -m pip install --upgrade pip qanything-container-local | GPU ID: 0, 0 qanything-container-local | 您的显卡型号 NVIDIA GeForce RTX 4060 Laptop GPU 不在支持列表中，请联系技术支持。 再追加一个

如果使用的本地方式启动，可以通过修改./scripts/run_for_local_option.sh，在150行base_gpu_model=$(echo $gpu_model | grep -o '^[^-]*')修改为base_gpu_model=$(echo "$gpu_model" | cut -d' ' -f1-4')。

修改之后base_gpu_model的值变为NVIDIA GeForce RTX 4060，就可以与文件gpu_capabilities.json中匹配。

[tyut-pengkai]

Is there any way to fix it

wildish's good answer You could try this way to fix it!

[beeant0512]

您的显卡型号 NVIDIA RTX A4000 不在支持列表中，请联系技术支持。

[YaoHuanyu]

您的显卡型号 NVIDIA RTX A4000 不在支持列表中，请联系技术支持。

scripts/gpu_capabilities.json

add a line

"NVIDIA RTX A4000": 8.6,

[EnterWuDa]

rtx 4000 sff支持吗