求问，有没有多线程多进程改造整个流程的成功例子，性能怎么样

Open ZhangJianBeiJing opened this issue 2 years ago • 5 comments

Mar 21 '24 06:03 ZhangJianBeiJing

试了，没必要。除非你cpu和gpu跑不满。

Mar 21 '24 09:03 AnonymousmousCoder

试了，没必要。除非你cpu和gpu跑不满。

噢噢

Mar 22 '24 01:03 ZhangJianBeiJing

gpu的那个cuda会存在抢占问题，多线程没思路。

Mar 22 '24 02:03 thom802311

在阿里云搞了台 v100 测试在 fast_inference 分支，加大 batch_size 可以更多的利用显卡资源，也更快。但多线程使用没有什么帮助。有点疑惑，多线程运行即使有抢占问题，感觉还是应该会利用到更多的显卡资源。是项目中做了限制吗？

Mar 23 '24 08:03 Joy-word

多进程可以实现吗，我这都没有问题

Apr 02 '24 07:04 pyh007