无法复现doc2dial数据集上的结果

[palm2333]

dial2vec在doc2dial数据集上的结果按照给定参数temperature=0.2和temperature=0.05，和google上下载的模型约差3%，请问能否说明训练参数

[wangruicn]

@Coldog2333 帮忙看下这个issue哈~

[Coldog2333]

@palm2333 你好，请问你所指的是哪一个任务呢？「约差3%」的这个3%的差值是relative的差值还是absolute的差值呢？

[palm2333]

@palm2333 你好，请问你所指的是哪一个任务呢？「约差3%」的这个3%的差值是relative的差值还是absolute的差值呢？ 你好，在doc2dial数据集上，我用run_plato.sh和readme中默认参数训练，Domain Categorization、Semantic Relatedness、Semantic Relatedness与论文中结果都差约3%。脚本中temperature=0.2而提供的checkpoint中temperature=0.05，所以我猜测是否是参数的问题，感谢您的解答！

[Coldog2333]

有可能是我们论文中的笔误，你可以尝试使用temperature=0.05来训练一下看看。Google Drive上的模型我们都是验证过的，performance是没有问题的，应该不会差absolute差值3个点那么多。