Contrastive-Clustering icon indicating copy to clipboard operation
Contrastive-Clustering copied to clipboard

Test metrics don't match

Open lingjieyi opened this issue 2 years ago • 9 comments

你好,感谢你的工作和分享的代码。我用刚刚下载的最新版本的code跑cluster.py

把start_epoch改成1000来读取save文件夹里训练好的模型,然后把image_size改成32跑Cifar-10,得出的结果如下:

Step [0/120] Computing features... Step [20/120] Computing features... Step [40/120] Computing features... Step [60/120] Computing features... Step [80/120] Computing features... Step [100/120] Computing features... Features shape (60000,) 'NMI = 0.0201 ARI = 0.0099 F = 0.2395 ACC = 0.1421'

其他的没有任何改动,请问如何解决?

lingjieyi avatar Feb 25 '23 04:02 lingjieyi

您好,image_size改动为32的话需要调整backbone的结构,默认的ResNet18/34接受的是224*224的图片,具体改动可以参照SCAN (https://github.com/wvangansbeke/Unsupervised-Classification/blob/master/models/resnet_cifar.py) 相应的您也需要重新训练网络。

Yunfan-Li avatar Mar 02 '23 02:03 Yunfan-Li

您好,image_size改动为32的话需要调整backbone的结构,默认的ResNet18/34接受的是224*224的图片,具体改动可以参照SCAN (https://github.com/wvangansbeke/Unsupervised-Classification/blob/master/models/resnet_cifar.py) 相应的您也需要重新训练网络。

感谢你的回复。

我调整了resnet的第一层conv1的kernel_size=3并且设置image_size=32(普遍的resnet_cifar10的设置)跑了1000个epoch,结果是:

NMI ACC ARI F 0.570381 0.611817 0.429496 0.486613

lingjieyi avatar Mar 08 '23 20:03 lingjieyi

我记得当时用32x32的效果比224x224的还要稍好一些,试试参照SCAN设置优化器学习率呢?

Yunfan-Li avatar Mar 09 '23 01:03 Yunfan-Li

我记得当时用32x32的效果比224x224的还要稍好一些,试试参照SCAN设置优化器学习率呢?

感谢你的耐心回复,我已经复现相似的结果了!

我还有两个问题:

  1. 作者有比较过不同的batch_size对结果的影响吗,因为做column contrast的时候,cluster representation的维度是batch_size决定的,不像row contrast维度是由network的最后一次决定的。

  2. 请问一下table 4,ICH Only是指用SimCLR pretrain整个模型,然后对所有的点计算z,然后对所有的z一次性做offline K-means吗?

lingjieyi avatar Mar 10 '23 10:03 lingjieyi

1.不同batch size会有影响,不过我都用的256、512之类的,没测试过特别的情况,而且也没有针对性地调过学习率,所以没法给出具体的结论; 2.是的。

Yunfan-Li avatar Mar 10 '23 11:03 Yunfan-Li

1.不同batch size会有影响,不过我都用的256、512之类的,没测试过特别的情况,而且也没有针对性地调过学习率,所以没法给出具体的结论; 2.是的。

好的我自己跑跑看。然后我看其他问题里有提过multi-gpu的运算问题,要相应的修改contrastive loss对吧?

lingjieyi avatar Mar 11 '23 00:03 lingjieyi

multi-gpu的loss可以参照期刊扩展的代码

Yunfan-Li avatar Mar 11 '23 02:03 Yunfan-Li

multi-gpu的loss可以参照期刊扩展的代码

感谢所有的回复,这篇文章的疑问都解答完了。Twin那一篇有几个问题,我去那边提问了。

lingjieyi avatar Mar 15 '23 22:03 lingjieyi

我记得当使用32x32的效果比224x224的还要好一些,试试看SCAN设置优化器学习率呢?

感谢你的耐心回复,我已经回复了现在似的结果了!

我还有两个问题:

  1. 作者有比较不同的batch_size对结果的影响吗,因为做column contrast的时候,cluster representation的维数是batch_size决定的,不像row contrast维数是由网络的最后一次决定的。
  2. 请问一下table 4,ICH Only是指用SimCLR pretrain整个模型,然后对所有的点计算z,然后对所有的z一次性做offline K-means吗?

您好,请问您训练32*32是修改了哪些地方,参数设置怎么修改?可否分享一下,非常感谢!!! 我目前设置lr=0.001,image_size=32,没有修改Resnet18的架构,结果是 image

18XiWenjuan avatar Mar 29 '23 02:03 18XiWenjuan