zh-NER-TF
zh-NER-TF copied to clipboard
word2id 与 embedding区别
你好, 由于刚刚入门 ,看到您的代码有些概念比较混乱。看到参数有word2id 与 pretrain embedding两种 想询问一下这两者之间的区别。
word2id是给每一个word给一个计算机可以识别的id,因为有些特殊字符,计算不好处理,容易出现问题,类似于给word做个标准化。pretrain embedding是要重新训练词向量,因为咱们这里的词向量是使用均匀分布随机生成的。pretrain embedding的功能是要把词向量替换成特定领域(如金融领域,自己通过语料训练得到的词向量)的而不是开放领域的随机向量,这样对于识别的准确率会有所提高。