MaXinkai

Results 3 comments of MaXinkai

这个问题也困扰我很久,导致最后的label_ids==max_length断言失败 目前我是这样解决的 ` # 对输入文本进行标记化并扩展标签 tokens = [] label_ids = [] for word, label in zip(example.text_a.split(), example.labels): word_tokens = tokenizer.tokenize(word) tokens.extend(word_tokens) # 对第一个子词使用原始标签,后续子词使用 "I-" 标签 label_ids.extend( [label_map[label]] + [label_map[label.replace("B-", "I-")]]...

``` # 对输入文本进行标记化并扩展标签 tokens = [] label_ids = [] for word, label in zip(example.text_a.split(), example.labels): word_tokens = tokenizer.tokenize(word) tokens.extend(word_tokens) # 对第一个子词使用原始标签,后续子词使用 "I-" 标签 label_ids.extend( [label_map[label]] + [label_map[label.replace("B-", "I-")]] * (len(word_tokens)...

在代码ner_seq.py的100行左右新增可以正常运行