如何测试自己数据集上训练出来的权重的性能呢？

[ShaneCan]

trafficstars

想对MAP,AP,AR,GFLOPS等性能进行测试，但是发现在训练过程中的测试环节，出现下列状况：

[>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>] 37/37, 0.7 task/s, elapsed: 54s, ETA: 0sLoading and preparing results... 2022-07-03 11:12:43,314 - mmpose - INFO - Epoch(val) [10][2] AP: 0.0000, AP .5: 0.0000, AP .75: 0.0000, AP (M): -1.0000, AP (L): -1.0000, AR: 0.0000, AR .5: 0.0000, AR .75: 0.0000, AR (M): -1.0000, AR (L): -1.0000 DONE (t=0.01s) creating index... index created! Running per image evaluation... Evaluate annotation type keypoints DONE (t=0.01s). Accumulating evaluation results... DONE (t=0.00s). Average Precision (AP) @[ IoU=0.50:0.95 | area= all | maxDets= 20 ] = 0.000 Average Precision (AP) @[ IoU=0.50 | area= all | maxDets= 20 ] = 0.000 Average Precision (AP) @[ IoU=0.75 | area= all | maxDets= 20 ] = 0.000 Average Precision (AP) @[ IoU=0.50:0.95 | area=medium | maxDets= 20 ] = -1.000 Average Precision (AP) @[ IoU=0.50:0.95 | area= large | maxDets= 20 ] = -1.000 Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 20 ] = 0.000 Average Recall (AR) @[ IoU=0.50 | area= all | maxDets= 20 ] = 0.000 Average Recall (AR) @[ IoU=0.75 | area= all | maxDets= 20 ] = 0.000 Average Recall (AR) @[ IoU=0.50:0.95 | area=medium | maxDets= 20 ] = -1.000 Average Recall (AR) @[ IoU=0.50:0.95 | area= large | maxDets= 20 ] = -1.000

请问大神应该如何解决呢，谢谢！！！

[mm-assistant[bot]]

We recommend using English or English & Chinese for issues so that we could have broader discussion.

[ShaneCan]

补充一下，训练后的权重在识别过程中正常，只是测试环节出现上述问题

[jin-s13]

你觉得哪里有异常呀？ 训练久一点会不会有值呢？

[ShaneCan]

你觉得哪里有异常呀？ 训练久一点会不会有值呢？

异常点在于AP,AR均为0，甚至还有-1，训练至300 epochs也始终没有值。。大神求解 使用test.py对权重进行测试，结果如下： AP: 0.0 AP (L): -1.0 AP (M): -1.0 AP .5: 0.0 AP .75: 0.0 AR: 0.0 AR (L): -1.0 AR (M): -1.0 AR .5: 0.0 AR .75: 0.0

[ly015]

会不会是测试数据有问题，可能要 check 一下

[jin-s13]

哦 L，M两个都是-1 有点奇怪了，Large 和 Medium的物体都是不存在的？

[ShaneCan]

会不会是测试数据有问题，可能要 check 一下

测试数据有问题指的是？... 测试集就是从训练集中分割出来的一部分 ....

[ShaneCan]

哦 L，M两个都是-1 有点奇怪了，Large 和 Medium的物体都是不存在的？

应该都存在吧.... 很奇怪

[ShaneCan]

遇到困难了 还是没有思路。。。

[jin-s13]

training acc 有值么？ 如果有的话，可以看看可视化效果正不正常

[ShaneCan]

training acc 有值么？ 如果有的话，可以看看可视化效果正不正常

acc是有值的 一切正常，就是AP AR这些不显示

[jin-s13]

想起一个可能的原因，你可以检查下标注文件的格式，有没有漏写这个categories？

https://github.com/jin-s13/xtcocoapi/blob/e1052f3009702b74ece8aa58e3ef8b73d10467f2/annotations/example_coco_val.json#L49

[ShaneCan]

想起一个可能的原因，你可以检查下标注文件的格式，有没有漏写这个categories？

https://github.com/jin-s13/xtcocoapi/blob/e1052f3009702b74ece8aa58e3ef8b73d10467f2/annotations/example_coco_val.json#L49

感谢，确实漏写了，但是加上以后情况还是一样，可能是sigma的原因吧 我的sigma是瞎写的

[lllrj]

你好，我遇到了和你一样的问题，请问你现在有解决吗？ PS:我的数据集由于没有很多人标记来算标准差，sigma也是根据不同点标注难度自己定的的。

[ShaneCan]

你好，我遇到了和你一样的问题，请问你现在有解决吗？ PS:我的数据集由于没有很多人标记来算标准差，sigma也是根据不同点标注难度自己定的的。

解决不了 无解了

[lllrj]

你好，我遇到了和你一样的问题，请问你现在有解决吗？ PS:我的数据集由于没有很多人标记来算标准差，sigma也是根据不同点标注难度自己定的的。

解决不了 无解了

我已经解决了问题，分享给你。我的情况是由于数据集生成label的时候默认area=1.0，所以导致了evaluate时的错误，修改成area=bbox的H*W就可以正确test了。再此我也分享给你一篇可能对你有帮助的博客：https://zhuanlan.zhihu.com/p/558257447

[ShaneCan]

你好，我遇到了和你一样的问题，请问你现在有解决吗？ PS:我的数据集由于没有很多人标记来算标准差，sigma也是根据不同点标注难度自己定的的。

解决不了 无解了

我已经解决了问题，分享给你。我的情况是由于数据集生成label的时候默认area=1.0，所以导致了evaluate时的错误，修改成area=bbox的H*W就可以正确test了。再此我也分享给你一篇可能对你有帮助的博客：https://zhuanlan.zhihu.com/p/558257447

非常感谢您，我生成json的时候写的也是annotation['area'] = 1.0 ， 想问问您这句话您是如何修改的呢？