punctuation-restoration-scl icon indicating copy to clipboard operation
punctuation-restoration-scl copied to clipboard

Published 20 hours ago • verified publisher icon hqsiswiliam

dataset 中 target = -1 是什么意思？

Open qinqinqaq opened this issue 3 years ago • 1 comments

请问 dataset 中的pkl数据中，token id 对应的 target = -1 是什么意思？

qinqinqaq avatar Nov 16 '21 02:11 qinqinqaq

target=-1表示在该token为sub-word或者special tokens，在实际使用中并不需要预测标点。

Nicola-Zhang avatar Nov 26 '22 09:11 Nicola-Zhang