Yun Chen

Results 40 comments of Yun Chen

当初用python2写的, python3 请使用 https://github.com/chenyuntc/pytorch-book/tree/master/chapter6-实战指南

模型太大了。 好几百M

啊? 在训练集上调整参数, 在验证集上评估模型的表现。验证集也可以用来调整超参数比如学习率,weight_decay等

损失在0.69左右 说明完全没效果 (log 2 = 0.693) 不是过拟合,应该是梯度消失,总之是网络训崩了。 >建议使用resnet 别用alexnet。

嗯嗯, 我发现新版的默认参数有点问题(学习率和weight_decay太大),我这几天再看看。你可以把学习率改成0.001,lr_decay改成0.5,weight_decay改成0看看。

可以每一个epoch都重置,不过我觉得没有必要频繁重置,尤其是在一个epoch的迭代次数比较少的情况下。每重置一次,都要重新计算均值,噪声比较大。

1 >fix_fake_imgs的时候,我想问是否需要写 netg.eval() 写了更好,不过这边可能影响不是很大 2 >我是否可以把generate这个函数视为test,是在对训练好的进行进行测试。 可以这么理解 3 >在保存模型的时候,重新生成了优化器, 没必要,我已经删除了,当初本想做梯度衰减,即使如此还是可以不用创建新的优化器

https://github.com/pytorch/pytorch/blob/0e246305aba027a0cc4bac888aa9245cd93f2592/torch/utils/data/dataloader.py#L260 如果每次调用后的数据都存放在内存中的话太费内存了。dataloader的做法是每回多次调用dataset.__getitem__ 取得一个batch的数据,并拼接成一个batch。通过异步并行加载,提升加载速度。

Could you give a more detail traceback? I wanna know which line code raises the error.