OSTrack icon indicating copy to clipboard operation
OSTrack copied to clipboard

Published 20 hours ago • verified publisher icon botaoye

got10k测试问题

Open XiaoxiaoWang098 opened this issue 2 years ago • 3 comments

你好，我使用got10k数据集测试您的模型，权重是您Google Driver中的，在不做任何改动的情况下，结果始终无法匹配您论文中的数据，是否有可能您的got10k测试代码有问题？

XiaoxiaoWang098 avatar Oct 07 '22 06:10 XiaoxiaoWang098

请问您测试出来的性能是多少呢？我们发现即使使用相同的预训练模型，不同的测试环境也会对结果有影响

botaoye avatar Oct 07 '22 06:10 botaoye

我使用的是您的ep100和ep300权重分别测试（设备是两个3090）。两个的结果都出乎意料的过高了（甚至超过了您论文中的结果.............）.请问您能给出您的got10k_ep100训练后的测试结果吗？谢谢...............

XiaoxiaoWang098 avatar Oct 08 '22 08:10 XiaoxiaoWang098

我使用的是您的ep100和ep300权重分别测试（设备是两个3090）。两个的结果都出乎意料的过高了（甚至超过了您论文中的结果.............）.请问您能给出您的got10k_ep100训练后的测试结果吗？谢谢...............

你好，比我paper里面高是正常的，原因就是不同的环境（包括CUDA、pytorch版本等）都会对结果造成轻微影响，我们在实验过程中也出现了相同的现象。我也对这个感到比较好奇，没有确认这个差别来自哪个地方。我测试环境其实用的是Pytorch1.8，所有数据集的结果在readme中给了下载链接，你可以自己下载比较。如果你有关于结果差别原因的任何想法，也欢迎继续讨论、

botaoye avatar Oct 08 '22 08:10 botaoye