Ultra-Fast-Lane-Detection-v2 icon indicating copy to clipboard operation
Ultra-Fast-Lane-Detection-v2 copied to clipboard

Published 20 hours ago • verified publisher icon cfzd

关于训练culane格式的数据集，loss为Nan

Open reverse-2020 opened this issue 2 years ago • 8 comments

我的数据集如下目录如下，大概200张图片,lr 设置为0.000625,且在eval的时候，一直提示"nearly no results!" 图片

reverse-2020 avatar Jan 11 '23 09:01 reverse-2020

麻烦作者大大帮忙解答一下，谢谢啦

reverse-2020 avatar Jan 11 '23 09:01 reverse-2020

能贴一下训练时loss的变化情况吗？或者尝试一直降低学习率，直至loss不为nan。如果一直都是nan，可能需要考虑是不是数据格式不对，或者读取的时候哪个地方不太对。

cfzd avatar Jan 12 '23 07:01 cfzd

能贴一下训练时loss的变化情况吗？或者尝试一直降低学习率，直至loss不为nan。如果一直都是nan，可能需要考虑是不是数据格式不对，或者读取的时候哪个地方不太对。

一直降低还是Nan哈，但这个数据集在ufld1上可以正常训练然后出结果的

reverse-2020 avatar Jan 13 '23 00:01 reverse-2020

@reverse-2020 是一开始就直接为nan还是loss会在迭代几步之后nan啊？能不能把发生nan那一个batch的数据拿出来看看？

cfzd avatar Jan 13 '23 02:01 cfzd

是一直是Nan，数据在这，有空可以看下链接：https://pan.baidu.com/s/1uWdk5aac98YqpW235jX3KQ 提取码：04ud

reverse-2020 avatar Jan 13 '23 05:01 reverse-2020

兄弟，问题解决了吗？我用culane也是loss=nan

liwankuang avatar Apr 17 '23 01:04 liwankuang

@liwankuang culane上出现nan一般可以通过降低学习率解决，如果代码配置是正确的，可以尝试一直降低学习率直至没有nan

cfzd avatar Apr 17 '23 03:04 cfzd

兄弟，问题解决了吗？我用culane也是loss=nan

我是重新制作了数据集，制作成了tusimple格式的，然后训练成功了，可以正常出loss，你可以参考一下

reverse-2020 avatar Apr 18 '23 13:04 reverse-2020