nsfw-resnet icon indicating copy to clipboard operation
nsfw-resnet copied to clipboard

Published 20 hours ago • verified publisher icon yangbisheng2009

nsfw_data_scraper 图像url99%失效

Open zhangbanxian123 opened this issue 4 years ago • 6 comments

nsfw_data_scraper 中给出来的所有url，失效的数据过多，不知道楼主有没有下载好的数据，可以提供网盘吗？另一份数据集，类别过多，我仅仅只想训练一个5种类别的模型，，且没有明确定义的pron类别。

zhangbanxian123 avatar Mar 03 '20 07:03 zhangbanxian123

去这个路径下 nsfw_data_scraper-master/raw_data：找到每个类别对应的 url文件。自己写个python脚本，循环下载url对应的jpg文件即可。别用它官方的下载脚本，那个太麻烦。这样就不会各种失败了

yangbisheng2009 avatar Mar 04 '20 01:03 yangbisheng2009

嗯，就是自己写的脚本，失效过多。所以才想向你申请数据^-^

zhangbanxian123 avatar Mar 04 '20 01:03 zhangbanxian123

哭。。。我的MEGA数据过期了，目前没法下载 不过用 nsfw_data_scraper 这个数据，即使有失败的，也是能够满足测试要求的 如果你想真实解决线上问题，这份数据是远远不够的，需要根据你的适用场景单独标数据

yangbisheng2009 avatar Mar 04 '20 01:03 yangbisheng2009

请问一下您下载数据之后是不是对各个类别数据进行整理过后再训练的？因为数据中有很多脏数据

zhangbanxian123 avatar Mar 05 '20 02:03 zhangbanxian123

是的，我对下载的图片做了些筛选，然后又额外标注了一些数据，才能达到不错的效果

yangbisheng2009 avatar Mar 05 '20 05:03 yangbisheng2009

我记起来了，打不开的原因，可能是你需要翻墙。国内当然打不开

yangbisheng2009 avatar Mar 30 '20 00:03 yangbisheng2009