SPACES
SPACES copied to clipboard
bojone
内存问题
一开始在跑extract_convert.py时，执行到convert函数程序卡住不动，后来发现是内存问题，我把线程或者进程数从100调小至10，能够成功运行。
运行到extract_model.py时，还是会出现内存不足，训练卡住的情况，我只能调小数据集训练，但是会导致模型训练效果差。后续智只能考虑分批次加载数据训练模型了。
我的配置是，16G内存。请问一下苏神，你内存方面的配置是什么样的呢？还是说，其实不是内存方面的问题，而是其他方面的问题？
我找到根本原因了，是evalue这块需要消耗得内存很大。 所以资源有限的朋友可以不做交叉验证，只训练一个模型，减小val数据集得大小，使用上还是没有问题的，我看实际预测效果也很好，使用上是没有太大问题的。
我找到了了，评估这这块内存内存很大。 所以资源资源有限有限的的朋友朋友可以可以可以不不做交叉验证验证验证验证验证验证验证验证验证验证只只只训练一个个模型模型模型模型模型模型模型模型模型模型实际预测效果也很好，使用上是没有太大问题的。
请问，该如何删除交叉验证呢，我也遇到这个问题，您跑得是第一个阶段所有的4000条数据集嘛
