poplpr
Results
1
comments of
poplpr
@binshuyi @Fang-git0 我这边去除掉 package 一堆的版本问题外,大概有三个问题。 问题一,出现 [UNK] 的大概率原因是因为数据文件里出现了多个字组成的 token,但是原作者的代码无法识别这些多字组成的 token,所以出现了 [UNK]。解决方案大致是数据中只要有两个字符都不为空格就在中间加上一个空格,把这些多字的词全部拆开就行了。 问题二,我这里还出现了输出乱码(非 [UNK] 这样的特殊字符,类似于锟斤拷)的问题,原因是 python 默认是 utf-8,但是代码中却要输出 Unicode 字符,这种情况在 eval 的时候执行 `PYTHONENCODING=UTF-8 python evaler.py --config_file configs/evaler.yaml` 就可以解决。 问题三,忘记是 test set...