ArthurZhao

embedding average 计算中ground truth中存在英文，英文分词是如何处理的。

2

你还根据https://github.com/thu-coai/CDial-GPT/issues/53 和https://github.com/thu-coai/CDial-GPT/issues/55 两个issue的指导复现embedding average的计算，发现ground truth中有英文语句，中文分词方法不太适用英文的分词，请问你们是怎么处理的呢？直接丢弃还是适用英文分词方法对英文的ground truth进行分词。例如在STC_test.json中存在“"I f o n l y w e c o u l d s e e t h e w o r l d i...