MultiThread + MultiQP in DistTensorClient

[eedalong]

由于NIC本身具有多个处理器(Process Unit, PU)，使用RC模式通信时，每一个QP绑定一个PU处理，为了避免性能卡在PU的处理性能上，我们在实现中使用了单线程多QP的方式来充分利用CPU能力。但同时目前发现单Client进行特征聚合时网络带宽只能用到10.5GB左右，距离12G仍然有2GB的距离，此时的瓶颈主要在于Client的CPU上了（具体可以查看测试脚本）。为此我们需要实现MultiThread， MultiQP的模式，避免单CPU瓶颈。同时Thread的个数需要暴露给用户进行设置，默认是1，一般最大设置到2应该就能够完全打满网络。