SimGRACE 关于alignment和uniformity？

关于alignment和uniformity？

Open githubXin123 opened this issue 3 years ago • 6 comments

作者您好。最近刚接触对比学习，您文章中有分析alignment和uniformity这两个指标，但我在代码部分没找到。不知道是我没找到，还是这部分是和模型分开单独计算、分析的？

May 15 '22 07:05 githubXin123

您好，感谢您对我们工作的兴趣。我以伪代码的形式展示出我们是如何计算alignment和uniformity (该部分是我们单独计算、分析的)：

# bsz : batch size (number of positive pairs)
# d   : latent dim
# x   : Tensor, shape=[bsz, d]
#       latents for one side of positive pairs
# y   : Tensor, shape=[bsz, d]
#       latents for the other side of positive pairs

def align_metric(x, y, alpha=2):
    return (x - y).norm(p=2, dim=1).pow(alpha).mean()

def uniform_metric(x, t=2):
    return torch.pdist(x, p=2).pow(2).mul(-t).exp().mean().log()