Xiaonan Li
Xiaonan Li
那你就慢慢下或者冲个百度云会员吧,不过中文NER中 bigram一般都很重要,不用它会差很多个点
可以的,这两天我比较忙,抱歉。加入词汇信息的时候,bigram的确不是那么有必要了
看运行环境的显存够不够吧,当时clip是为了缓解模型占用显存过大的问题
这个模型只适用于中文数据集,那些中文数据集对应的load函数貌似没有用到这个?
可以用FastNLP的StaticEmbedding,在那个类的源码里有用法的注释
你用的是bioes?
你好,请参照这篇论文:A Lexicon-Based Graph Neural Network for Chinese NER
我没遇到过这个报错信息,不过我可以提供一个解决方案,你可以写一个读取自己训练数据的函数,然后保持返回结果和其它函数的格式一致就可以了
> 我也遇到过这个问题,我发现是file_reader.py这个文件中的parse_conll()函数中 sample = list(map(list, zip(*sample))) 这句有问题。原因可能是自己的数据中有把空格也标为了“O”。修改一下就可以训练,不过我的数据把batchsize改成2也爆显存,很愁。 爆显存的话建议先查一下有没有过长句(哪怕只有一句)
https://blog.csdn.net/SHU15121856/article/details/87810372 可以看下这个