关于模型训练

[wanghuanniupi]

你好，我再使用您模型训练的时候，遇到总是卡在model.fit()那一步，训练开始后不打印任何信息，让我感觉像是卡了一样，请问这正常吗？

[TachibanaYoshino]

This may be a problem with your data input pipeline.

[wanghuanniupi]

This may be a problem with your data input pipeline.

打扰了，训练卡住是由于数据加载的时候迭代器解析图片格式错误，已经解决了。但是我想继续请教您一下，您的训练是在什么显卡上计算的呢，我使用3080ti 显存12G，发现GPU利用率很低，像是主要时间花在了数据搬运上。请问您有这方面的经验吗？此外，标签16通道（32 bit float）的时候，数据会扩展地很大，这一点有没有办法解决呢？

[TachibanaYoshino]

My graphics card was titan xp. You need to make the one-hot labels of all the data before training, so that the speed will be faster when the training has begun.

[wanghuanniupi]

我明白了，知道问题出在哪里了，加载数据应该主要是独热码那一块耗时过大，但是如果提前做好独热码，需要耗费大量的储存空间，这个可能需要进一步地去考虑必要性以及训练、加载数据的方式。您的回答很有帮助，非常感谢您！