MAVEN-dataset icon indicating copy to clipboard operation
MAVEN-dataset copied to clipboard

Published 20 hours ago • verified publisher icon THU-KEG

tokenization

Open sky-snow opened this issue 2 years ago • 0 comments

您好，请问数据集中分词使用的工具是什么呀，我使用斯坦福的分词工具，输出的token长度会出现不一致的问题

sky-snow avatar Jun 22 '22 08:06 sky-snow