TensorRT-Alpha icon indicating copy to clipboard operation
TensorRT-Alpha copied to clipboard

显卡配置

Open jiamfeng opened this issue 1 year ago • 6 comments

服务器有4张显卡,如何通过修改代码可以达到来指定显卡进行推理?

jiamfeng avatar Jan 17 '24 08:01 jiamfeng

@jiamfeng 参考:在使用PyTorch的时候,是如何将数据拷贝到不同gpu

FeiYull avatar Jan 17 '24 08:01 FeiYull

@jiamfeng 参考:在使用PyTorch的时候,是如何将数据拷贝到不同gpu

可能我没表达清楚意思,我问的是TensorRT C++推理trt模型的时候如何设置,因为我设置了但是报错了。

Snipaste_2024-01-17_16-34-50 Uploading Snipaste_2024-01-17_16-35-39.png…

jiamfeng avatar Jan 17 '24 08:01 jiamfeng

@jiamfeng 没有实操过

FeiYull avatar Jan 17 '24 08:01 FeiYull

@jiamfeng 没有实操过

哦,好吧,我目前是设置gpu_id=0是正常的,但是gpu_id=1就报错了,不清楚是什么问题导致的。有其他大佬可以指导下吗?

jiamfeng avatar Jan 17 '24 08:01 jiamfeng

楼主解决这个问题了吗?我也遇到相同问题,想问下怎么解决

Leoyed avatar Mar 20 '24 03:03 Leoyed

@jiamfeng 没有实操过

哦,好吧,我目前是设置gpu_id=0是正常的,但是gpu_id=1就报错了,不清楚是什么问题导致的。有其他大佬可以指导下吗?

在main函数和init里同时设置cudaSetDevice就可以了

Leoyed avatar Mar 20 '24 04:03 Leoyed