关于训练过程中mi_loss和lld_loss的问题

[cwzhang98]

您好，我尝试follow您的工作，并迁移到其它领域，但是在训练过程中主要遇到了如下几个问题：

lld_loss不收敛，导致互信息上界估计不准确，影响训练过程 使用mi_loss之后，模型参数中出现nan mi_loss随着训练过程越来越大 我尝试了调整mi_net的层数和学习率等方法，但是问题依然存在。

想请教您模型训练中的更多细节：

您的模型在训练过程中，lld_loss是否是逐渐收敛的，还是稳定在一个范围？ 在mi_loss的反向传播中，mi_net的参数是否更新？ mi_loss的训练过程大概如何，是否收敛？

[YoungSeng]

您好，感谢关注此工作，

1. lld_loss是收敛的，之后稳定在一个范围；建议可以先跑一遍VQMIVC看看，那个效果不错
2. 我记得是都是更新的
3. 实测中我也遇到过NAN，然后设置修剪和调小学习率跑了几遍才可以，检查数据没遇到问题有点玄学

[LindgeW]

lld loss训练过程为负数，请问怎么破？