yongxuUSTC
关于mixture2clean的keras和pytorch不同实现
您好，我在运行代码的时候遇到这样一个问题。将keras版本的mixture2clean_dnn中的DNN模型直接替换为pytorch版本的DNN，其他配置一样，然后pytorch-DNN的效果要差很多。 请问这大概是什么原因呢？ 期待您的回复，感谢！
您好，由于时间关系，pytorch版本未完全开发完，所以效果要差一些。若对照keras一样的设置并检查data generator，是能够完全复原keras结果的。
Best wishes,
Qiuqiang
From: only-yipie [email protected] Sent: 04 July 2019 04:08 To: yongxuUSTC/sednn Cc: Subscribed Subject: [yongxuUSTC/sednn] 关于mixture2clean的keras和pytorch不同实现 (#41)
您好，我在运行代码的时候遇到这样一个问题。将keras版本的mixture2clean_dnn中的DNN模型直接替换为pytorch版本的DNN，其他配置一样，然后pytorch-DNN的效果要差很多。 请问这大概是什么原因呢？ 期待您的回复，感谢！
― You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHubhttps://eur02.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.com%2FyongxuUSTC%2Fsednn%2Fissues%2F41%3Femail_source%3Dnotifications%26email_token%3DADFXTSPXQWJXFOVEX7HW3NTP5VSSHA5CNFSM4H5Q3IQKYY3PNVWWK3TUL52HS4DFUVEXG43VMWVGG33NNVSW45C7NFSM4G5IVDCQ&data=02%7C01%7Cq.kong%40surrey.ac.uk%7C99491dd53a7148aac9e608d7002cdec1%7C6b902693107440aa9e21d89446a2ebb5%7C0%7C0%7C636978065026933225&sdata=JoQNXrjx1VMhZ8ubZRp4epmmJlL6BHPYaN0QBWjgHnk%3D&reserved=0, or mute the threadhttps://eur02.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.com%2Fnotifications%2Funsubscribe-auth%2FADFXTSJESQ5CHNNEYGGNPHTP5VSSHANCNFSM4H5Q3IQA&data=02%7C01%7Cq.kong%40surrey.ac.uk%7C99491dd53a7148aac9e608d7002cdec1%7C6b902693107440aa9e21d89446a2ebb5%7C0%7C0%7C636978065026943219&sdata=GvcfbOj%2FlCPglYEgeKSVmzuedCF4stmyjSFPU4P4AKE%3D&reserved=0.
@qiuqiangkong 您好，不好意思，我想您可能误会了我的意思，我不是说pytorch版本的mixture2clean_dnn效果要差一些，而是我在keras版本的mixture2clean_dnn中，DNN模型使用pytorch实现效果要差一些，也就是说模型的输入是一样的，都是使用keras版本的mixture2clean_dnn中的代码，只有模型实现的框架不一样，然后效果差很多。我现在还没找到原因。 期待您的解答，感谢！
如果数据预处理都是一样的，仅仅是模型不同，那么说明你的pytorch代码可能有些问题。如果完全一致结果是可以对的上的。可以检查以下部分：
- 是否正确使用了model.train(), model.eval()?
- DNN的模型初始化的weight, bias是否设置和keras一致？
- 如果有BN层，那么BN层的初始weight, bias是否设置和keras一致？
- optimizer参数是否一致？
Best wishes,
Qiuqiang
From: bailiangze [email protected] Sent: 04 July 2019 09:05 To: yongxuUSTC/sednn Cc: Kong, Qiuqiang (PG/R - Elec Electronic Eng); Mention Subject: Re: [yongxuUSTC/sednn] 关于mixture2clean的keras和pytorch不同实现 (#41)
一样的输入，我改成tensorflow 训练，一样的loss函数，发现差别很大
― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHubhttps://eur02.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.com%2FyongxuUSTC%2Fsednn%2Fissues%2F41%3Femail_source%3Dnotifications%26email_token%3DADFXTSOMMEAVTMIX7SEJLKDP5WVOPA5CNFSM4H5Q3IQKYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGODZGVHTY%23issuecomment-508384207&data=02%7C01%7Cq.kong%40surrey.ac.uk%7Cb16a127bf5574f97a39b08d7005674db%7C6b902693107440aa9e21d89446a2ebb5%7C0%7C0%7C636978243645377962&sdata=c435wOJ0U9BeC9jcDxSkFArQkt8MVDxbukTFz7uHSwQ%3D&reserved=0, or mute the threadhttps://eur02.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.com%2Fnotifications%2Funsubscribe-auth%2FADFXTSPIT4UJMPE26U2FTPDP5WVOPANCNFSM4H5Q3IQA&data=02%7C01%7Cq.kong%40surrey.ac.uk%7Cb16a127bf5574f97a39b08d7005674db%7C6b902693107440aa9e21d89446a2ebb5%7C0%7C0%7C636978243645387956&sdata=3a8ua%2FLWZ6MvPOGJH1VPyrNlPPE%2BDlVCIctzCqECVIY%3D&reserved=0.