如何构建一个可训练的网络模型?

[moon6666]

老师您好，我看了您STFT的网络架构，并将其理解为一个“检测模型+融合时序信息的修正模块”的两阶段框架。目前，我也正在开发一个类似的模型，只不过我的修正模块获取时序信息和您的方式不同（基于一个跟踪器）。但是，训练时该模型存在loss曲线抖动和修正模块学习不到知识的情况，请问您在搭建这样一个两阶段框架的时候是如何在两个模块拼接的同时又确保其训练的正确性？您有遇到过类似的问题吗？或者您能给我一些关于这样搭建网络的建议吗？