Hkaisense

多堆几张显卡能更快吗？确实快这件事情非常关键

> @huliangbing @XiaTiaoQAQ 除了软件之外，硬件上NVLink实装了吗？3090默认persitence mode没有开启的，开启后才能用NVLink。NVLink开启后，训练速度才会比单卡快 请教一下： 1、nvlink需要桥接器吗？我是4029超微10gpu款服务器，需要另配nvlink桥接器吗？ 2、nvlink可以支持多卡（大于2张）吗？

> > 我用是用的超微，5张3090 24GB ，插了两张NVLINK,我也没觉得有多快。。 > >  > > > > 另外还有一台超微 8卡 P40 24gb，全拿来做推理了。 > > > > > 我当然知道，目前是打算拿下一块超微的主板，双路CPU，每一路包含4个pcie3.0 x16，但是我仍然不确定没有nvlink的情况下带宽瓶颈有多严重。根据经验，多卡训练的主要瓶颈就是带宽（而不是Flops），一般来说nvlink可以提供上百G的带宽，而pcie3.0 x16只有16G每秒，pcie4.0 x16只有32G每秒 > > > […](#) >...

Isn't there an expert who can solve this annoying problem?