CasRel-pytorch-reimplement icon indicating copy to clipboard operation
CasRel-pytorch-reimplement copied to clipboard

Published 20 hours ago • verified publisher icon longlongman

数据处理问题

Open Yegiri opened this issue 3 years ago • 5 comments

您好，请问中文分词使用的工具是什么？如果我想跑自己的数据，用哈工大的LTP分词工具可以吗？

Yegiri avatar Apr 01 '21 03:04 Yegiri

image 请问这种情况可能是什么问题导致的呢？一个batch中的所有元素都是None。

Yegiri avatar Apr 02 '21 02:04 Yegiri

我是基于BERT的，所以我用的是BERT的分词器

longlongman avatar Apr 08 '21 11:04 longlongman

请问是必须先分词吗？还是不分词也可以？

Yegiri avatar Apr 08 '21 11:04 Yegiri

bert不是按字切分的吗？

Power886 avatar Apr 11 '21 07:04 Power886

请问是必须先分词吗？还是不分词也可以？

请问一下你有处理办法了嘛 我也想用自己的中文数据集

guanxichouqu avatar May 04 '23 11:05 guanxichouqu