wujun.tang

我把cuda升级到了我显卡适配的目前最新版本的11.7 但是还是一样会报这个

但是 好像这里没啥人讨论 主要内容是卖课？

> aidatatang_200zh训练集 请问batch_size是多少跑的 过拟合有改batch_size继续跑吗

我用三个数据集做的预训练 然后跑训练模型 到loss0.39 就出现过拟合了，怎么调整都没用。。。难道是数据集太大loss下不去了？0.39持续了50k左右 一直下不去。。。

> > 我用三个数据集做的预训练 然后跑训练模型 到loss0.39 就出现过拟合了，怎么调整都没用。。。难道是数据集太大loss下不去了？0.39持续了50k左右 一直下不去。。。 > > 你的batch szie是多少 我显卡比较差 3060ti的 用的batch_size 24 再高就报错了

> > 我用三个数据集做的预训练 然后跑训练模型 到loss0.39 就出现过拟合了，怎么调整都没用。。。难道是数据集太大loss下不去了？0.39持续了50k左右 一直下不去。。。 > > 其实loss也不是越低越好，太低可能是过拟合。我试了一下我的模型和作者的模型效果差不多 确实是的 我自己测试了下 效果还是可以的 我打算重新训练一个 前面60kstep之前都用默认的batch_size（12），后面再慢慢调高试试

> > > > 我用三个数据集做的预训练 然后跑训练模型 到loss0.39 就出现过拟合了，怎么调整都没用。。。难道是数据集太大loss下不去了？0.39持续了50k左右 一直下不去。。。 > > > > > > > > > 你的batch szie是多少 > > > > > > 我显卡比较差 3060ti的 用的batch_size 24...

> > > > 我用三个数据集做的预训练 然后跑训练模型 到loss0.39 就出现过拟合了，怎么调整都没用。。。难道是数据集太大loss下不去了？0.39持续了50k左右 一直下不去。。。 > > > > > > > > > 其实loss也不是越低越好，太低可能是过拟合。我试了一下我的模型和作者的模型效果差不多 > > > > > > 确实是的 我自己测试了下 效果还是可以的 我打算重新训练一个 前面60kstep之前都用默认的batch_size（12），后面再慢慢调高试试...

很有帮助 赞！

colab 免费版 浏览器时常断 有点烦。。。