Macropodus

同问，想要训练word+character+ngram。窗口为5的时候，character或ngram怎么选择，是直接取word to word里面的character么，还是只取前后5个character。

同问

There was some params wrong of CountVectorizer, I have fix it on code, future i will upload to pypi.

暂时没有这个计划，你可以自己尝试下，改改与numpy, pandas相关的操作

I have the same question, like variable inputs of sequence, like index2label, index2vocab when predict， like filter useless character.

即便第一个已经修复了，但效果确实不怎么样 python版thulac.thulac()： 情侣们在沙滩上海誓山 结果： 情侣_n 们_k 在_p 沙滩_n 上海_ns 誓山盟_n python版tthulac.thulac(seg_only=True)居然和 thulac.thulac()结果不一样： 到期补发的新卡卡号是否变更 结果： 到期 补发 的 新 卡卡 号 是 否 变更 到期_v 补发_v 的_u 新卡卡号_nz 是_v 否_g 变更_v

I have the same issue, when I am training an BERT + Bi-LSTM + CRF network for named entity recognition of chinese_people_daily. how could I slove it? some logs as...

最初没有考虑与存储，要改只能改源码，加上了

因为是支持列表输入的，所以可以加个后处理。 代码： ```python from nlg_yongzhuo.data_preprocess.text_preprocess import cut_sentence from nlg_yongzhuo import mmr docs ="和投票目标的等级来决定新的等级.简单的说。" \ "是上世纪90年代末提出的一种计算网页权重的算法! " \ "当时，互联网技术突飞猛进，各种网页网站爆炸式增长。" \ "业界急需一种相对比较准确的网页重要性计算方法。" \ "是人们能够从海量互联网世界中找出自己需要的信息。" \ "百度百科如是介绍他的思想:PageRank通过网络浩瀚的超链接关系来确定一个页面的等级。" \ "Google把从A页面到B页面的链接解释为A页面给B页面投票。" \ "Google根据投票来源甚至来源的来源，即链接到A页面的页面。" \ "一个高等级的页面可以使其他低等级页面的等级提升。"...

same problem, sporadic outbreaks. ``` next_token = torch.multinomial(probs_sort, num_samples=1) RuntimeError: probability tensor contains either `inf`, `nan` or element < 0 ```