rknn-toolkit2
rknn-toolkit2 copied to clipboard
simulator运行正常,但是板子上运行异常
将mmpose的一个onnx模型,在simulator上进行转换,转换后进行后处理,正常。 但是将导出的模型在板子上运行,则结果不理想,运行顺利,但是结果和simulator上差异巨大。 pc环境: Linux version 6.2.0-1019-gcp (buildd@lcy02-amd64-032) (x86_64-linux-gnu-gcc-12 (Ubuntu 12.3.0-1ubuntu1~22.04) 12.3.0, GNU ld (GNU Binutils for Ubuntu) 2.38) #21~22.04.1-Ubuntu SMP Thu Nov 16 18:18:34 UTC 2023 rknn-toolkit2: 1.6.0
板子环境: Linux version 5.10.110 (xcs3@xcs3-System-Product-Name) (aarch64-none-linux-gnu-gcc (GNU Toolchain for the A-profile Architecture 10.3-2021.07 (arm-10.29)) 10.3.1 20210621, GNU ld (GNU Toolchain for the A-profile Architecture 10.3-2021.07 (arm-10.29)) 2.36.1.20210621) #9 SMP Sat Jun 17 18:59:59 CST 2023
I RKNN: [15:33:35.279] RKNN Runtime Information, librknnrt version: 1.6.0 (9a7b5d24c@2023-12-13T17:31:11)
I RKNN: [15:33:35.279] RKNN Driver Information, version: 0.8.2
W RKNN: [15:33:35.279] Current driver version: 0.8.2, recommend to upgrade the driver to the new version: >= 0.8.8
I RKNN: [15:33:35.280] RKNN Model Information, version: 6, toolkit version: 1.6.0+81f21f4d(compiler version: 1.6.0 (585b3edcf@2023-12-11T07:42:56)), target: RKNPU v2, target platform: rk3588, framework name: ONNX, framework layout: NCHW, model inference type: static_shape
关于驱动以及版本的对应关系,是否会有影响呢?
+1
+1 一样的问题
x64的结果
rk3588的结果
yolov8 在cpu上先量化完成运行了一遍,放到板子上面又跑了一遍,上面是两个结果,差异很大。
这个看起来像是量化的损失太大,有咩有试一下fp16模型?
不是量化损失和精度问题,而是模拟器完全正常,但连板后结果完全乱来,并且每次计算结果都不一致,甚至出现nan