CoSENT_Pytorch
CoSENT_Pytorch copied to clipboard
关于Spearman相关系数的用在文本匹配任务
def compute_corrcoef(x, y): """Spearman相关系数 """ return scipy.stats.spearmanr(x, y).correlation 您好,看了下模型用的是这个指标来做结果的评估,但是为什么不用P值、R值、F1值来衡量结果呢?最后的标签输出都是0或者1。 换句话说,用这个Spearman系数比准召(混淆矩阵)有什么好处吗? 感谢大佬回复。
我的观点是,如果用分类指标进行评估的话,则需要确定计算得出的cosine similarity的阈值(高于阈值为1,低于阈值为0),比较麻烦,而Spearman不依赖阈值,只依赖相对顺序。具体请参考苏剑林博客:https://spaces.ac.cn/archives/8860。
此外,在SentenceBERT的论文中还提到了为什么spearman相比于pearson相关系数更合适,请参考论文:Task-Oriented Intrinsic Evaluation of Semantic Textual Similarity。