Pretraining-Yourself-Bert-From-Scratch icon indicating copy to clipboard operation
Pretraining-Yourself-Bert-From-Scratch copied to clipboard

Published 20 hours ago • verified publisher icon circlePi

请问字典中没有出现的词是怎么处理的

Open 256785 opened this issue 4 years ago • 4 comments

我刚用代码跑了一下，遇到词典里没有的词使用convert_token_to_ids的时候会报错

256785 avatar Sep 15 '20 02:09 256785

看了一下transformers库的代码 是用unk的id代替的

256785 avatar Sep 15 '20 03:09 256785

请问，有跑通的 流程readme么

Crescentz avatar Nov 16 '20 09:11 Crescentz

可以跑通

256785 avatar Nov 19 '20 02:11 256785

我刚用代码跑了一下，遇到词典里没有的词使用convert_token_to_ids的时候会报错

请问这个问题您是怎么处理的呢，我也遇到了这个问题。。请大佬指点下

sssssajfsd avatar Jul 24 '21 08:07 sssssajfsd