On the latest version (VehicleID_V1.0) of VehicleID, the accuracy dropped dramatically

[Andybert]

To adapt to the new version of VehicleID dataset, I change a few lines of the code in train_soft_trip_v2.py: and comment the following two lines: in VehicleID.py Did I do something wrong somewhere? or this is the true results on the new dataset? Thanks.

[chenchenver]

你好，请问这个问题你解决了吗，我是修改了数据集，修改后用记事本和写字板打开分别是这样的，可以运行，但训练出的模型评价超级差，MAP大概是0.05，想知道你是怎么解决的呢~~谢谢！

[Andybert]

昨天才开始跑，还没有解决。你这个这么低，估计数据读入有问题

[chenchenver]

好的谢谢奥！我再看看~

------------------ 原始邮件 ------------------ 发件人: "Andybert"[email protected]; 发送时间: 2019年7月5日(星期五) 上午10:42 收件人: "yanbai1993/Embedding-Network"[email protected]; 抄送: "Cherish"[email protected];"Comment"[email protected]; 主题: Re: [yanbai1993/Embedding-Network] On the latest version(VehicleID_V1.0) of VehicleID, the accuracy dropped dramatically (#5)

昨天才开始跑，还没有解决。你这个这么低，估计数据读入有问题

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or mute the thread.

[yanbai1993]

请注意数据集的格式，因为使用了softmax，所有车辆id 必须从0开始编写，并注意分类器的类别数量和id 总数量是否一致。正常的训练和测试流程，在最新的vehicleID_v1.0 上，800的规模，可以获得82%的mAP

[Andybert]

谢谢！找到问题了，训练测试都没有问题，只是因为我用只训练了10000次时保存的模型进行测试的，换成训练50000次的模型，rank-1就达到65.8%

[chenchenver]

谢谢！！我再看一看！！

[chenchenver]

您好！我又来打扰了。您代码只改了上图两三个地方吗。我原来是先改的数据集又训练的，精度很差，我用了您上面的方法，直接在代码中修正数据集精度还是很差，训练过程是很正常的，没有出错什么的，所以请教您有没有遇见这种问题的解决经验呢。

[Andybert]

代码确实只修改了那几个地方，没有修改数据集（直接用新版数据集里面提供的训练集和测试集列表文件），其他都是按照说明文档来操作的。你也是在VehicleID_V1.0上训练和测试的？

[chenchenver]

嗯嗯是的，是VehicleID_V1.0，您记得训练的时候它的loss大概是从多少开始收敛的嘛，我在这里triplet大概是从1，softmax大概是从9~

------------------ 原始邮件 ------------------ 发件人: "Andybert"[email protected]; 发送时间: 2019年7月10日(星期三) 中午12:45 收件人: "yanbai1993/Embedding-Network"[email protected]; 抄送: "陈大猫子"[email protected];"Comment"[email protected]; 主题: Re: [yanbai1993/Embedding-Network] On the latest version(VehicleID_V1.0) of VehicleID, the accuracy dropped dramatically (#5)

代码确实只修改了那几个地方，没有修改数据集（直接用新版数据集里面提供的训练集和测试集列表文件），其他都是按照说明文档来操作的。你也是在VehicleID_V1.0上训练和测试的？

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or mute the thread.

[yanbai1993]

要用imagenet的模型初始化

发自我的 iPhone

在 2019年7月10日，15:03，chenchenver <[email protected]mailto:[email protected]> 写道：

嗯嗯是的，是VehicleID_V1.0，您记得训练的时候它的loss大概是从多少开始收敛的嘛，我在这里triplet大概是从1，softmax大概是从9~

------------------ 原始邮件 ------------------ 发件人: "Andybert"<[email protected]mailto:[email protected]>; 发送时间: 2019年7月10日(星期三) 中午12:45 收件人: "yanbai1993/Embedding-Network"<[email protected]mailto:[email protected]>; 抄送: "陈大猫子"<[email protected]mailto:[email protected]>;"Comment"<[email protected]mailto:[email protected]>; 主题: Re: [yanbai1993/Embedding-Network] On the latest version(VehicleID_V1.0) of VehicleID, the accuracy dropped dramatically (#5)

代码确实只修改了那几个地方，没有修改数据集（直接用新版数据集里面提供的训练集和测试集列表文件），其他都是按照说明文档来操作的。你也是在VehicleID_V1.0上训练和测试的？

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or mute the thread.

— You are receiving this because you commented. Reply to this email directly, view it on GitHubhttps://github.com/yanbai1993/Embedding-Network/issues/5?email_source=notifications&email_token=ADZPKBQUV67LQICVHG5UPTDP6WCS7A5CNFSM4H6DZML2YY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGODZSQIHI#issuecomment-509936669, or mute the threadhttps://github.com/notifications/unsubscribe-auth/ADZPKBV23XRCWPOYYSIPPBTP6WCS7ANCNFSM4H6DZMLQ.

[chenchenver]

所以不能直接按照readme上面的步骤直接处理vehicleID数据集是嘛

------------------ 原始邮件 ------------------ 发件人: "Andybert"[email protected]; 发送时间: 2019年7月10日(星期三) 下午3:19 收件人: "yanbai1993/Embedding-Network"[email protected]; 抄送: "陈大猫子"[email protected];"Comment"[email protected]; 主题: Re: [yanbai1993/Embedding-Network] On the latest version(VehicleID_V1.0) of VehicleID, the accuracy dropped dramatically (#5)

要用imagenet的模型初始化

发自我的 iPhone

在 2019年7月10日，15:03，chenchenver <[email protected]mailto:[email protected]> 写道：

嗯嗯是的，是VehicleID_V1.0，您记得训练的时候它的loss大概是从多少开始收敛的嘛，我在这里triplet大概是从1，softmax大概是从9~

------------------ 原始邮件 ------------------ 发件人: "Andybert"<[email protected]mailto:[email protected]>; 发送时间: 2019年7月10日(星期三) 中午12:45 收件人: "yanbai1993/Embedding-Network"<[email protected]mailto:[email protected]>; 抄送: "陈大猫子"<[email protected]mailto:[email protected]>;"Comment"<[email protected]mailto:[email protected]>; 主题: Re: [yanbai1993/Embedding-Network] On the latest version(VehicleID_V1.0) of VehicleID, the accuracy dropped dramatically (#5)

代码确实只修改了那几个地方，没有修改数据集（直接用新版数据集里面提供的训练集和测试集列表文件），其他都是按照说明文档来操作的。你也是在VehicleID_V1.0上训练和测试的？

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or mute the thread.

— You are receiving this because you commented. Reply to this email directly, view it on GitHubhttps://github.com/yanbai1993/Embedding-Network/issues/5?email_source=notifications&email_token=ADZPKBQUV67LQICVHG5UPTDP6WCS7A5CNFSM4H6DZML2YY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGODZSQIHI#issuecomment-509936669, or mute the threadhttps://github.com/notifications/unsubscribe-auth/ADZPKBV23XRCWPOYYSIPPBTP6WCS7ANCNFSM4H6DZMLQ.

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or mute the thread.

[yanbai1993]

数据集正常处理，确认一下你们训练的时候有没有用imagenet初始化resnet50的网络。这个对性能影响较大

发自我的 iPhone

在 2019年7月10日，15:27，chenchenver <[email protected]mailto:[email protected]> 写道：

所以不能直接按照readme上面的步骤直接处理vehicleID数据集是嘛

------------------ 原始邮件 ------------------ 发件人: "Andybert"<[email protected]mailto:[email protected]>; 发送时间: 2019年7月10日(星期三) 下午3:19 收件人: "yanbai1993/Embedding-Network"<[email protected]mailto:[email protected]>; 抄送: "陈大猫子"<[email protected]mailto:[email protected]>;"Comment"<[email protected]mailto:[email protected]>; 主题: Re: [yanbai1993/Embedding-Network] On the latest version(VehicleID_V1.0) of VehicleID, the accuracy dropped dramatically (#5)

要用imagenet的模型初始化

发自我的 iPhone

在 2019年7月10日，15:03，chenchenver <[email protected]mailto:[email protected]mailto:[email protected]> 写道：

嗯嗯是的，是VehicleID_V1.0，您记得训练的时候它的loss大概是从多少开始收敛的嘛，我在这里triplet大概是从1，softmax大概是从9~

------------------ 原始邮件 ------------------ 发件人: "Andybert"<[email protected]mailto:[email protected]mailto:[email protected]>; 发送时间: 2019年7月10日(星期三) 中午12:45 收件人: "yanbai1993/Embedding-Network"<[email protected]mailto:[email protected]mailto:[email protected]>; 抄送: "陈大猫子"<[email protected]mailto:[email protected]mailto:[email protected]>;"Comment"<[email protected]mailto:[email protected]mailto:[email protected]>; 主题: Re: [yanbai1993/Embedding-Network] On the latest version(VehicleID_V1.0) of VehicleID, the accuracy dropped dramatically (#5)

代码确实只修改了那几个地方，没有修改数据集（直接用新版数据集里面提供的训练集和测试集列表文件），其他都是按照说明文档来操作的。你也是在VehicleID_V1.0上训练和测试的？

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or mute the thread.

— You are receiving this because you commented. Reply to this email directly, view it on GitHubhttps://github.com/yanbai1993/Embedding-Network/issues/5?email_source=notifications&email_token=ADZPKBQUV67LQICVHG5UPTDP6WCS7A5CNFSM4H6DZML2YY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGODZSQIHI#issuecomment-509936669, or mute the threadhttps://github.com/notifications/unsubscribe-auth/ADZPKBV23XRCWPOYYSIPPBTP6WCS7ANCNFSM4H6DZMLQ.

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or mute the thread.

— You are receiving this because you commented. Reply to this email directly, view it on GitHubhttps://github.com/yanbai1993/Embedding-Network/issues/5?email_source=notifications&email_token=ADZPKBSHF2ZCANGPMJJ4LITP6WFPNA5CNFSM4H6DZML2YY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGODZSSBHQ#issuecomment-509943966, or mute the threadhttps://github.com/notifications/unsubscribe-auth/ADZPKBQMDH7T75LX3OAJDGLP6WFPNANCNFSM4H6DZMLQ.

[chenchenver]

谢谢奥！训练的过程中有从param_url = 'https://download.pytorch.org/models/resnet50-19c8e357.pth'下载预训练模型，其他的我再仔细看下！！真的非常谢谢你的回复！

------------------ 原始邮件 ------------------ 发件人: "Andybert"[email protected]; 发送时间: 2019年7月10日(星期三) 下午3:29 收件人: "yanbai1993/Embedding-Network"[email protected]; 抄送: "陈大猫子"[email protected];"Comment"[email protected]; 主题: Re: [yanbai1993/Embedding-Network] On the latest version(VehicleID_V1.0) of VehicleID, the accuracy dropped dramatically (#5)

数据集正常处理，确认一下你们训练的时候有没有用imagenet初始化resnet50的网络。这个对性能影响较大

发自我的 iPhone

在 2019年7月10日，15:27，chenchenver <[email protected]mailto:[email protected]> 写道：

所以不能直接按照readme上面的步骤直接处理vehicleID数据集是嘛

------------------ 原始邮件 ------------------ 发件人: "Andybert"<[email protected]mailto:[email protected]>; 发送时间: 2019年7月10日(星期三) 下午3:19 收件人: "yanbai1993/Embedding-Network"<[email protected]mailto:[email protected]>; 抄送: "陈大猫子"<[email protected]mailto:[email protected]>;"Comment"<[email protected]mailto:[email protected]>; 主题: Re: [yanbai1993/Embedding-Network] On the latest version(VehicleID_V1.0) of VehicleID, the accuracy dropped dramatically (#5)

要用imagenet的模型初始化

发自我的 iPhone

在 2019年7月10日，15:03，chenchenver <[email protected]mailto:[email protected]mailto:[email protected]> 写道：

嗯嗯是的，是VehicleID_V1.0，您记得训练的时候它的loss大概是从多少开始收敛的嘛，我在这里triplet大概是从1，softmax大概是从9~

------------------ 原始邮件 ------------------ 发件人: "Andybert"<[email protected]mailto:[email protected]mailto:[email protected]>; 发送时间: 2019年7月10日(星期三) 中午12:45 收件人: "yanbai1993/Embedding-Network"<[email protected]mailto:[email protected]mailto:[email protected]>; 抄送: "陈大猫子"<[email protected]mailto:[email protected]mailto:[email protected]>;"Comment"<[email protected]mailto:[email protected]mailto:[email protected]>; 主题: Re: [yanbai1993/Embedding-Network] On the latest version(VehicleID_V1.0) of VehicleID, the accuracy dropped dramatically (#5)

代码确实只修改了那几个地方，没有修改数据集（直接用新版数据集里面提供的训练集和测试集列表文件），其他都是按照说明文档来操作的。你也是在VehicleID_V1.0上训练和测试的？

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or mute the thread.

— You are receiving this because you commented. Reply to this email directly, view it on GitHubhttps://github.com/yanbai1993/Embedding-Network/issues/5?email_source=notifications&email_token=ADZPKBQUV67LQICVHG5UPTDP6WCS7A5CNFSM4H6DZML2YY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGODZSQIHI#issuecomment-509936669, or mute the threadhttps://github.com/notifications/unsubscribe-auth/ADZPKBV23XRCWPOYYSIPPBTP6WCS7ANCNFSM4H6DZMLQ.

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or mute the thread.

— You are receiving this because you commented. Reply to this email directly, view it on GitHubhttps://github.com/yanbai1993/Embedding-Network/issues/5?email_source=notifications&email_token=ADZPKBSHF2ZCANGPMJJ4LITP6WFPNA5CNFSM4H6DZML2YY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGODZSSBHQ#issuecomment-509943966, or mute the threadhttps://github.com/notifications/unsubscribe-auth/ADZPKBQMDH7T75LX3OAJDGLP6WFPNANCNFSM4H6DZMLQ.

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or mute the thread.

[chenchenver]

我的soft_loss太大了，500iter的时候还在9左右，现在我重新训练了下10000多了也才到2

------------------ 原始邮件 ------------------ 发件人: "Andybert"[email protected]; 发送时间: 2019年7月10日(星期三) 下午3:43 收件人: "yanbai1993/Embedding-Network"[email protected]; 抄送: "陈大猫子"[email protected];"Comment"[email protected]; 主题: Re: [yanbai1993/Embedding-Network] On the latest version(VehicleID_V1.0) of VehicleID, the accuracy dropped dramatically (#5)

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or mute the thread.