L.S.

模型量化失败，出现“ValueError: cannot convert float NaN to integer”错误

1

问题描述： 量化`onnx`模型时，选择``asymmetric_affine-u8``的量化方式，``quantized_algorithm="kl_divergence"``，量化失败并提示``ValueError: cannot convert float NaN to integer``，原模型输入格式为单通道图像，量化数据集为npy格式 环境： ubuntu18.04， rknn版本1.7.1， python3.6.7 代码： ```python rknn = RKNN() rknn.config( mean_values=[[0]], std_values=[[1]], reorder_channel="0 1 2", quantized_dtype="asymmetric_affine-u8", epochs=40, batch_size=16, quantized_algorithm="kl_divergence", # quantized_algorithm="normal", optimization_level=3,...

paddleseg模型和onnx模型的推理结果不一致，精度差距较大

2

### 问题确认 Search before asking - [X] 我已经搜索过问题，但是没有找到解答。I have searched the question and found no related answer. ### 请提出你的问题 Please ask your question ## 问题描述 发现`paddleseg`模型和使用`paddle2onnx`转换出来的`onnx`模型的推理结果不一致，精度差距较大。 不知道是因为什么原因导致的。 ## 测试环境 ###...

paddleseg模型和onnx模型的推理结果不一致，精度差距较大

2

使用paddleseg的seaformer模型，发现paddleseg模型和使用paddle2onnx转换出来的onnx模型的推理结果不一致，精度差距较大。 具体问题描述和复现工程：https://github.com/PaddlePaddle/PaddleSeg/issues/3682 paddleseg回复说这说明paddle2onnx或者onnxruntime存在精度误差，麻烦排查一下是什么问题。