learn-to-cluster icon indicating copy to clipboard operation
learn-to-cluster copied to clipboard

about train GCNV

Open Linsongrong opened this issue 4 years ago • 23 comments

@yl-1993 作者您好,我在想训练一个接受512维输入的GCN-V网络,但在配置参数时,我有些疑惑。 image 其中原始的nclass=1,我对这个参数配置感到疑惑,我不明白为什么是一,这不是要分类的个数吗?请您解答我的疑惑。期望您的早日答复。

Linsongrong avatar Jul 28 '20 07:07 Linsongrong

@Linsongrong 您好,GCN-V的目标是让每个vertex只输出一个confidence,用来表示其属于特别类别的置信度,故而nclass设置为1

yl-1993 avatar Jul 29 '20 06:07 yl-1993

@yl-1993 @Linsongrong 你好,检测了下GCN-V输入的是feature_dim=256,但我们提取的特征集都是512,而看你们都是提取512维特征,这个是不是相互矛盾呢?向各位求解

XHQC avatar Sep 15 '20 03:09 XHQC

提的是256维啊

获取 Outlook for Androidhttps://aka.ms/ghei36


From: cvlmm [email protected] Sent: Tuesday, September 15, 2020 11:36:50 AM To: yl-1993/learn-to-cluster [email protected] Cc: Linsongrong [email protected]; Mention [email protected] Subject: Re: [yl-1993/learn-to-cluster] about train GCNV (#60)

@yl-1993https://github.com/yl-1993 @Linsongronghttps://github.com/Linsongrong 你好,检测了下GCN-V输入的是feature_dim=256,但我们提取的特征集都是512,而看你们都是提取512维特征,这个是不是相互矛盾呢?向各位求解

― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHubhttps://github.com/yl-1993/learn-to-cluster/issues/60#issuecomment-692442751, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AHFLQIE43MJFDQSVCXYUZMDSF3ONFANCNFSM4PKGIX5Q.

Linsongrong avatar Sep 16 '20 15:09 Linsongrong

@yl-1993 @Linsongrong ,再次请教你们 目前由于自身训练的特征提取模型是512的,所有想训练基于512特征的GCN_V和GCN_E模型,使用的也是face_emore 5.8M的训练集,目前参考cfg_train_gcnv_ms1m来布置训练,但得到的损失一直为 losss: nan , 微调lr=0.01以后损失在很快降低到0.009以下,训练20000次后,用训练集进行测试分值在0.9以上,不同阈值分类数量差很多,这是运用10W小数据,试跑的情况,现在开始尝试5.8M数据训练 @yl-1993 请问作者和大家,我该如何配置参数训练,已得到好的结果呢

XHQC avatar Sep 17 '20 09:09 XHQC

你好,不知道你的config.py是怎么配置,无法判断你的错误,正常来说只需要改model的 feature_dim就可以了。

发送自 Windows 10 版邮件https://go.microsoft.com/fwlink/?LinkId=550986应用


发件人: cvlmm [email protected] 发送时间: Thursday, September 17, 2020 5:40:49 PM 收件人: yl-1993/learn-to-cluster [email protected] 抄送: Linsongrong [email protected]; Mention [email protected] 主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60)

@yl-1993https://github.com/yl-1993 @Linsongronghttps://github.com/Linsongrong ,再次请教你们 目前想训练基于512特征的GCN_V和GCN_E模型,使用的也是face_emore 5.8M的训练集,目前参考cfg_train_gcnv_ms1m来布置训练,但得到的损失一直为 losss: nan , @yl-1993https://github.com/yl-1993 请问作者和大家,我该如何配置参数训练,已得到好的结果呢

― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHubhttps://github.com/yl-1993/learn-to-cluster/issues/60#issuecomment-694119804, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AHFLQIC36GQVX6VJMCH56NLSGHKSDANCNFSM4PKGIX5Q.

Linsongrong avatar Sep 18 '20 07:09 Linsongrong

另外检查你的学习率。太大会导致模型不收敛。

发送自 Windows 10 版邮件https://go.microsoft.com/fwlink/?LinkId=550986应用


发件人: cvlmm [email protected] 发送时间: Thursday, September 17, 2020 5:40:49 PM 收件人: yl-1993/learn-to-cluster [email protected] 抄送: Linsongrong [email protected]; Mention [email protected] 主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60)

@yl-1993https://github.com/yl-1993 @Linsongronghttps://github.com/Linsongrong ,再次请教你们 目前想训练基于512特征的GCN_V和GCN_E模型,使用的也是face_emore 5.8M的训练集,目前参考cfg_train_gcnv_ms1m来布置训练,但得到的损失一直为 losss: nan , @yl-1993https://github.com/yl-1993 请问作者和大家,我该如何配置参数训练,已得到好的结果呢

― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHubhttps://github.com/yl-1993/learn-to-cluster/issues/60#issuecomment-694119804, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AHFLQIC36GQVX6VJMCH56NLSGHKSDANCNFSM4PKGIX5Q.

Linsongrong avatar Sep 18 '20 07:09 Linsongrong

@Linsongrong 嗯,感谢你的回复! 其他参数没动,改了feature_dim=512,lr=0.05,会有损失值,若默认为 lr=0.1则出现损失 loss = nan 尝试训练5.8M的数据集,以提高模型泛化能力,但完全走不动,请问你是怎么制定数据集大小的呢?,可以根据什么准确计算得到数据集限制大小呢

XHQC avatar Sep 18 '20 07:09 XHQC

我不知道怎么回答你,我认为这和数据集大小关系不大。

发送自 Windows 10 版邮件https://go.microsoft.com/fwlink/?LinkId=550986应用


发件人: cvlmm [email protected] 发送时间: Friday, September 18, 2020 3:48:46 PM 收件人: yl-1993/learn-to-cluster [email protected] 抄送: Linsongrong [email protected]; Mention [email protected] 主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60)

@Linsongronghttps://github.com/Linsongrong 嗯,感谢你的回复! 其他参数没动,改了feature_dim=512,lr=0.05,会有损失值,若默认为 lr=0.1则出现损失 loss = nan 尝试训练5.8M的数据集,以提高模型泛化能力,但完全走不动,请问你是怎么制定数据集大小的呢?,可以根据什么准确计算得到数据集限制大小呢

― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHubhttps://github.com/yl-1993/learn-to-cluster/issues/60#issuecomment-694714676, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AHFLQIHPUFPM77GOQC22AX3SGMGF5ANCNFSM4PKGIX5Q.

Linsongrong avatar Sep 18 '20 08:09 Linsongrong

或许可以考虑学习率的衰减步长,把他改小一点

发送自 Windows 10 版邮件https://go.microsoft.com/fwlink/?LinkId=550986应用

发件人: cvlmmmailto:[email protected] 发送时间: 2020年9月18日 15:48 收件人: yl-1993/learn-to-clustermailto:[email protected] 抄送: Linsongrongmailto:[email protected]; Mentionmailto:[email protected] 主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60)

@Linsongronghttps://github.com/Linsongrong 嗯,感谢你的回复! 其他参数没动,改了feature_dim=512,lr=0.05,会有损失值,若默认为 lr=0.1则出现损失 loss = nan 尝试训练5.8M的数据集,以提高模型泛化能力,但完全走不动,请问你是怎么制定数据集大小的呢?,可以根据什么准确计算得到数据集限制大小呢

― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHubhttps://github.com/yl-1993/learn-to-cluster/issues/60#issuecomment-694714676, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AHFLQIHPUFPM77GOQC22AX3SGMGF5ANCNFSM4PKGIX5Q.

Linsongrong avatar Sep 18 '20 08:09 Linsongrong

@Linsongrong 嗯,正在尝试。你目前对于512GCNV网络训练取得的成绩怎样呢,引用做参考

XHQC avatar Sep 18 '20 08:09 XHQC

1.数据集大小是有限制的,如果用gpu来训练的话,这取决与你的显存,由于是对整图进行训练,占用内存会非常大。 2.我没有对gcnv进行重新训练。

发送自 Windows 10 版邮件https://go.microsoft.com/fwlink/?LinkId=550986应用

发件人: cvlmmmailto:[email protected] 发送时间: 2020年9月18日 16:11 收件人: yl-1993/learn-to-clustermailto:[email protected] 抄送: Linsongrongmailto:[email protected]; Mentionmailto:[email protected] 主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60)

@Linsongronghttps://github.com/Linsongrong 嗯,正在尝试。你目前对于512GCNV网络训练取得的成绩怎样呢,引用做参考

― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHubhttps://github.com/yl-1993/learn-to-cluster/issues/60#issuecomment-694725068, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AHFLQICS3XBNMAGNM3ATZZTSGMI25ANCNFSM4PKGIX5Q.

Linsongrong avatar Sep 18 '20 08:09 Linsongrong

@Linsongrong @yl-1993 对于256特征我有以下探讨意见 基于256特征维度提取到的人脸特征,用作人脸识别鲁棒性没有512特征维度强,用作聚类进行衔接项目,降低维度来进行聚类,有两种方法:1、是训练输出256特征网络,但会降低模型总体能力,从大数据上考量,即使很小值也会产生非常大的数量差距;2、从512特征上稀疏到256上来进行聚类,这个没尝试过,不知道你是否有试过 个人分析对于512特征聚类相比于256聚类的劣势是速度上会有所降低,运算资源占用相对较多,但优势在取得分数上会相对容易得到高分,且最终结果也相对会高一些,可能不多,这受限于模型的复杂度

XHQC avatar Sep 18 '20 08:09 XHQC

@XHQC 你好, 你是对的,你对GCNV重新进行512维训练出结果了吗?效果如何?相比256维,时间花费大概增长了多少?

Linsongrong avatar Sep 29 '20 02:09 Linsongrong

@Linsongrong 256的模型我没有,故没有测试,512的模型我测试的结果是15~20分钟 50W数据,基于GCN-V,由于配置原因不稳定,

XHQC avatar Sep 29 '20 03:09 XHQC

精度变化大吗?

发送自 Windows 10 版邮件https://go.microsoft.com/fwlink/?LinkId=550986应用

发件人: BODmailto:[email protected] 发送时间: 2020年9月29日 11:04 收件人: yl-1993/learn-to-clustermailto:[email protected] 抄送: Linsongrongmailto:[email protected]; Mentionmailto:[email protected] 主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60)

@Linsongronghttps://github.com/Linsongrong 256的模型我没有,故没有测试,512的模型我测试的结果是15~20分钟 50W数据,基于GCN-V,由于配置原因不稳定,

― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHubhttps://github.com/yl-1993/learn-to-cluster/issues/60#issuecomment-700397441, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AHFLQIG5ODKLOWO7QRMN7LTSIFFC3ANCNFSM4PKGIX5Q.

Linsongrong avatar Sep 29 '20 03:09 Linsongrong

@Linsongrong 精度应该是有优势的比256模型,我的测试结果显示。 我想做5000W数据的聚类,你有没有进行过分批聚类呢,通过怎样的方式进行?

XHQC avatar Sep 29 '20 03:09 XHQC

有的,我尝试过两种方法,一种是把数据分成几部分,对每一部分数据进行全量聚类,然后再对它们的结果聚一次;第二种是先聚第一部分的结果,然后把第一部分的结果和第二部分进行聚类。在我的尝试中,第二种比第一种表现会好些,当然你可以去尝试比较两种方法,或者有更好的方法也可以分享,一起讨论。另外结果表现好坏与数据划分成反比。

发送自 Windows 10 版邮件https://go.microsoft.com/fwlink/?LinkId=550986应用

发件人: BODmailto:[email protected] 发送时间: 2020年9月29日 11:09 收件人: yl-1993/learn-to-clustermailto:[email protected] 抄送: Linsongrongmailto:[email protected]; Mentionmailto:[email protected] 主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60)

@Linsongronghttps://github.com/Linsongrong 精度应该是有优势的比256模型,我的测试结果显示。 我想做5000W数据的聚类,你有没有进行过分批聚类呢,通过怎样的方式进行?

― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHubhttps://github.com/yl-1993/learn-to-cluster/issues/60#issuecomment-700398958, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AHFLQIGFN6TLWHFJ3CP37B3SIFFX7ANCNFSM4PKGIX5Q.

Linsongrong avatar Sep 29 '20 03:09 Linsongrong

@Linsongrong 对于分批聚类再聚类你是怎样选择再聚类数据呢,是通过选择最大置信度顶点再聚类嘛,或者是?

XHQC avatar Sep 29 '20 03:09 XHQC

我选择的是类中心,当然你也可以选择置信度最大的一个或几个,我没有做过比较。或许你可以尝试一下。

发送自 Windows 10 版邮件https://go.microsoft.com/fwlink/?LinkId=550986应用

发件人: BODmailto:[email protected] 发送时间: 2020年9月29日 11:27 收件人: yl-1993/learn-to-clustermailto:[email protected] 抄送: Linsongrongmailto:[email protected]; Mentionmailto:[email protected] 主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60)

@Linsongronghttps://github.com/Linsongrong 对于分批聚类再聚类你是怎样选择再聚类数据呢,是通过选择最大置信度顶点再聚类嘛,或者是?

― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHubhttps://github.com/yl-1993/learn-to-cluster/issues/60#issuecomment-700403691, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AHFLQIBZZQJZL3OWAXEYSJ3SIFH3XANCNFSM4PKGIX5Q.

Linsongrong avatar Sep 29 '20 03:09 Linsongrong

@Linsongrong 类中心的计算方式,你是通过类均值中心值或者最近的点来选取的吧? 而置信度顶点是模型推导出的点,可以试试是否可以获取更好的类中心,最优类中心的定义我认为是正脸清晰的照片,通过计算方法得来的类中心可能会造成偏离最优类中心,这个问题貌似不好避免,由类内数据分布不均造成

XHQC avatar Sep 29 '20 03:09 XHQC

@yl-1993 @Linsongrong @XHQC 感谢大家的真知灼见。我在使用自有数据集微调训练gcn-v的过程中发现train loss忽上忽下(可能跟我选用adam优化器有关),基本最后都会过拟合(train loss较低,但test loss超级高),而且test loss最小的模型,评估出来的指标很低啊,感觉loss失去了指导模型训练的作用。那么该怎么选择模型呢?难道每次迭代的模型都保存评估一遍?我试了下,发现在测试集指标FP能达到87%,但是其loss不是最低也不是最高,看不出规律。

zhangwhao avatar Nov 05 '20 08:11 zhangwhao

@XHQC 你好,方便给个邮箱地址吗,我训练上有些问题想向你请教一下。

Linsongrong avatar Feb 19 '21 03:02 Linsongrong

@Linsongrong 256的模型我没有,故没有测试,512的模型我测试的结果是15~20分钟 50W数据,基于GCN-V,由于配置原因不稳定,

有512的模型么,可否共享一下,我用来测试一下聚类效果,我的特征是512维

changgongcheng avatar Jun 22 '21 08:06 changgongcheng