ceci3
ceci3
转换成onnx格式模型的话,可以直接用trt进行部署
请问下是使用的什么部署后端进行推理速度的测试?
一般使用训练数据数据就可以,另外请问下压缩方法使用的是什么?
请问下V4模型是什么模型,具体我怎么拿到模型?
我看上一个issue的log看起来是量化训练,可以参考 https://github.com/PaddlePaddle/PaddleSlim/blob/develop/example/post_training_quantization/detection/post_quant.py#L75 这个示例使用离线量化看下效果
可以把不同observer的fp8量化实验结果贴上来