Self-Cure-Network
Self-Cure-Network copied to clipboard
kaiwang960112
关于预训练模型权重的问题
您好！
你们的工作做得非常好，我最近也在尝试复现你们的实验。
有一个问题：请问你们在Ms-Celeb-1M上的预训练模型是自己训练的，还是从其他地方来的？
因为我目前从其他工作者的仓库里找到了另外的Ms-Celeb-1M预训练权重，载入到resnet18测试发现，两者对最后的性能造成的影响蛮大的（rafdb数据集，仅仅跑resnet18-baseline：你们的权重上结果为85%左右；另一个权重上结果能达到88%以上）
所以我很疑惑预训练权重是不是需要自己训练？还有就是，如果预训练权重不一样，进行SOTA工作比较的时候会不会不公平？
期待能得到您的回复！我作为一个刚入门的菜鸟不胜感激！
谢谢你的问题，不同的预训练模型确实会对效果有影响，用我们那个你的参数可能得再调调。此外，我们的ablation部分用的直接训的来做实验，就是想规避预训练模型的影响的。
RockPine520 @.***>于2022年4月17日 周日下午11:21写道：
您好！ 你们的工作做得非常好，我最近也在尝试复现你们的实验。 有一个问题：请问你们在Ms-Celeb-1M上的预训练模型是自己训练的，还是从其他地方来的？
因为我目前从其他工作者的仓库里找到了另外的Ms-Celeb-1M预训练权重，载入到resnet18测试发现，两者对最后的性能造成的影响蛮大的（rafdb数据集，仅仅跑resnet18-baseline：你们的权重上结果为85%左右；另一个权重上结果能达到88%以上） [image: image] https://user-images.githubusercontent.com/47073688/163720778-69d4fbed-9825-4f12-bb4c-f11b2747609c.png 所以我很疑惑预训练权重是不是需要自己训练？还有就是，如果预训练权重不一样，进行SOTA工作比较的时候会不会不公平？ 期待能得到您的回复！我作为一个刚入门的菜鸟不胜感激！
— Reply to this email directly, view it on GitHub https://github.com/kaiwang960112/Self-Cure-Network/issues/68, or unsubscribe https://github.com/notifications/unsubscribe-auth/AI6LK4AJCEOX2WQ6CZBQB3LVFQT7VANCNFSM5TUAKH4Q . You are receiving this because you are subscribed to this thread.Message ID: @.***>
好的，谢谢您的答复。
你好，请问您加载的哪个预训练模型，得到的精度是85%，我加载两个预训练模型的精度都达到了88%
你好，85%是加载的本仓库提供的预训练模型ijba_res18_naive.pth，初始学习率是0.01，用的adam优化器。
你加我微信
------------------ 原始邮件 ------------------ 发件人: "kaiwang960112/Self-Cure-Network" @.>; 发送时间: 2022年4月19日(星期二) 晚上8:55 @.>; @.@.>; 主题: Re: [kaiwang960112/Self-Cure-Network] 关于预训练模型权重的问题 (Issue #68)
好，这问题也困扰了我很久
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>
您好！ 你们的工作做得非常好，我最近也在尝试复现你们的实验。 有一个问题：请问你们在Ms-Celeb-1M上的预训练模型是自己训练的，还是从其他地方来的？ 因为我目前从其他工作者的仓库里找到了另外的Ms-Celeb-1M预训练权重，载入到resnet18测试发现，两者对最后的性能造成的影响蛮大的（rafdb数据集，仅仅跑resnet18-baseline：你们的权重上结果为85%左右；另一个权重上结果能达到88%以上）
你好，可以分享一下你从其他工作者的仓库里找到的Ms-Celeb-1M预训练模型吗？
感谢你的提问，用或者不用人脸预训练，我们都试过，性能确实有差异，ms那个结果是我们这边自己训练的，model在我另一个repo上最后一行里面的link里面。我们当时是遵循一个大家常用的做法，人脸上预训练，表情上微调的做法。然后我们也做了不做预训练的结果。对比sota确实会比较乱，因为有的工作也没公开预训练模型啥的，其实可以做个大家都在IN-1K(ImageNet 1K)上预训练的去进行对比，这样会更公平。
CNing715 @.***>于2022年7月7日 周四下午4:19写道：
您好！ 你们的工作做得非常好，我最近也在尝试复现你们的实验。 有一个问题：请问你们在Ms-Celeb-1M上的预训练模型是自己训练的，还是从其他地方来的？ 因为我目前从其他工作者的仓库里找到了另外的Ms-Celeb-1M预训练权重，载入到resnet18测试发现，两者对最后的性能造成的影响蛮大的（rafdb数据集，仅仅跑resnet18-baseline：你们的权重上结果为85%左右；另一个权重上结果能达到88%以上） [image: image] https://user-images.githubusercontent.com/47073688/163720778-69d4fbed-9825-4f12-bb4c-f11b2747609c.png 所以我很疑惑预训练权重是不是需要自己训练？还有就是，如果预训练权重不一样，进行SOTA工作比较的时候会不会不公平？ 期待能得到您的回复！我作为一个刚入门的菜鸟不胜感激！
你好，可以分享一下你从其他工作者的仓库里找到的Ms-Celeb-1M预训练模型吗？
— Reply to this email directly, view it on GitHub https://github.com/kaiwang960112/Self-Cure-Network/issues/68#issuecomment-1177238617, or unsubscribe https://github.com/notifications/unsubscribe-auth/AI6LK4CZGCV3TQBAHZE3POLVS2HH7ANCNFSM5TUAKH4Q . You are receiving this because you commented.Message ID: @.***>
您好！ 你们的工作做得非常好，我最近也在尝试复现你们的实验。 有一个问题：请问你们在Ms-Celeb-1M上的预训练模型是自己训练的，还是从其他地方来的？ 因为我目前从其他工作者的仓库里找到了另外的Ms-Celeb-1M预训练权重，载入到resnet18测试发现，两者对最后的性能造成的影响蛮大的（rafdb数据集，仅仅跑resnet18-baseline：你们的权重上结果为85%左右；另一个权重上结果能达到88%以上）
你好。我也遇到了相似的问题，两个预训练模型差距很大。这种情况，精度较低的那个你有通过调参达到精度较高的模型的水平吗
好的，谢谢您的答复。
你好，请问您加载的哪个预训练模型，得到的精度是85%，我加载两个预训练模型的精度都达到了88%
你好，85%是加载的本仓库提供的预训练模型ijba_res18_naive.pth，初始学习率是0.01，用的adam优化器。
你好，我刚刚发现，好像是train.py中没有把预训练权重加载进去。我尝试打印了一下加载前后的某些层的参数，发现并没有更改，不知道你是不是也是这种情况才85的。然后88那个可能是权重是加载成功了的