deronLee

GRU模型CPU后端多batch推理性能无提升

6

测试了gru模型单batch与512batch模型在inter cpu后端的推理耗时，512batch耗时基本是512倍的单batch耗时，修改nthread=1，4，32推理耗时没有变化，cpu利用率为100%，400%， 3100%，请问是否符合预期？ 模型为onnx导出到mnn模型，单batch模型输入shape为[1,1,47]+[2,1,64]，512batch输入shape为[512,1,47]+[2,512,64]