Feng Yunlong comments

Results 91 comments of


                                            Feng Yunlong

这是由于 tokenizer 在 tokenize 的时候对 SCSGIP 将 SCSGIP 考虑成一个整体导致的，无法强行拆分。也许你可以尝试一下 legacy 模型。

对于英文来说，tokenizer 会把没有空格的一段英文字母当做一整个单词，也就是说 SCSGIP 会被视为一整个单词，并不单单是base2的问题，基于transformers的nerual模型都会出现这个问题

暂时还没有，或许很快会实现一个

@wn1652400018 说的没错

执行 task_named_entity_recognition.py 就可以进行训练了

可以参考这个 [quickstart](https://github.com/HIT-SCIR/ltp/blob/master/docs/quickstart.rst)

现在没有提供过这种图示的API，可以自行绘制，另外，demo网站上的sdp参数为mode='mix'

demo 网站是 4.1.3.post1 + base

这个应该是无GPU情况下，pytorch 的默认行为，之后看一下有什么办法解决

看上去是路径解析出现了问题，应该是 transformers 那边没有考虑 windows 环境导致的，也许可以尝试手动加载本地模型？