Vscode run api.py low GPU but High CPU

[xiaolongww]

问题：在Vscode中启动api,py，使用apifox调用接口时，发现我的CPU占用到了100%，而GPU才到1.4GB（我是RTX3070 8GB）；而当我使用网页端进行推理时，CPU占用在52%，GPU到2.9GB. 可以看出接口使用CPU推理多一些。

提问：请问各位大佬，是否可以调高api对GPU使用的比例以提升推理速度？感激不尽！

[xiaolongww]

接下来试试·看下网页端推理、api推理使用的是否为同一函数，具体有什么差异？

[ben0oil1]

你有指定启动服务的时候使用GPU推理吗？

[gbaian10]

我有相同的問題，使用 web ui 推理時候，GPU使用率無法拉高 (沒過50%)，不曉得有沒有什辦法可以盡量利用滿 GPU 資源來提升推理速度呢? (我是在 docker compose 環境下執行，一樣是 RTX3070 8GB)

[xiaolongww]

你有指定启动服务的时候使用GPU推理吗？

可能是我环境没装好，我在vscode中启动webui.py，看到显卡一栏显示“您没有可用的显卡”；而通过go-webui.bat使用runtime文件夹内的环境来启动webui.py，则能看到显卡。

我是Windows10，现在在试着安装Python 3.10.13, PyTorch 2.1.2 和 CUDA 12.3，然后使用下面语句看是否检查到显卡：

`import torch import torchaudio

def check_installation(): if torch.cuda.is_available(): print("本机有可用的显卡。") else: print("本机没有可用的显卡。")

try:
    torch.zeros(1).cuda()
    print("torch安装正确。")
except:
    print("torch安装有问题。")

try:
    torchaudio.load("test.wav")
    print("torchaudio安装正确。")
except:
    print("torchaudio安装有问题。")

check_installation() `

[xiaolongww]

解决了，我现在用的环境是python3.9.18 + pytorch2.2.1 + torchaudio2.2.1 + torchvision0.17.1，关键就是pytorch、torchaudio、torchvision和cuda的下载，指令最好使用官网给的https://pytorch.org/get-started/locally/

使用的指令是： 先在项目文件夹中创建使用python3.9的虚拟环境，再安装torch包；然后跑一下check.py确认能识别到显卡后，再安装其他包

1、终端指令—— conda create -p ./env39 python=3.9
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia 2、check.py——

import torch import torchaudio def check_installation(): if torch.cuda.is_available(): print("本机有可用的显卡。") else: print("本机没有可用的显卡。") try: torch.zeros(1).cuda() print("torch安装正确。") except: print("torch安装有问题。")
if torchaudio.git_version: print("torchaudio安装正确。",torchaudio.git_version) else: print("torchaudio安装有问题。") check_installation()

3、终端安装其他包—— pip install -r requirements.txt

最后可以看到GPU占用升到了3.6GB，而CPU则在30-50%左右——

[xiaolongww]

不确定是否有影响，在做上面这些操作前，我先安装了cuda12.3，在这里也说一下 https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64&target_version=10&target_type=exe_local