关于训练过程中的lld_loss和mi_loss

[cwzhang98]

您好，我尝试follow您的工作，并迁移到其它领域，但是在训练过程中主要遇到了如下几个问题：

1. lld_loss不收敛，导致互信息上界估计不准确，影响训练过程
2. 使用mi_loss之后，模型参数中出现nan
3. mi_loss随着训练过程越来越大

我尝试了调整mi_net的层数和学习率等方法，但是问题依然存在。

想请教您模型训练中的更多细节：

1. 您的模型在训练过程中，lld_loss是否是逐渐收敛的，还是稳定在一个范围？
2. 在mi_loss的反向传播中，mi_net的参数是否更新？
3. mi_loss的训练过程大概如何，是否收敛？