ansj

I am trying to do these. Let them work together, not one contains the other， But I found that more transformation may be on faiss.

试试dicanalysis 在2019年12月01日 12:25，yaoliweb 写道： DicLibrary.insert(DicLibrary.DEFAULT, "南通市崇川区南川园路"); Result result = ToAnalysis.parse("南通市崇川区南川园路南川园新村xx幢yy单元mm室"); List terms = result.getTerms(); for (Term term : terms) { System.out.print(term.getName() + "\t"); } 结果显示为：南通市 崇 川 区 南川 园...

这应该是 八阿哥

parse的时候指定词典试试 在2020年01月09日 09:44，nandily 写道： 使用ansj_seg5.1.6 使用DicLibrary.insertOrCreate("dish", "酸汤鱼", "userDefine", 10000)添加自定义字典。 当在命令行中直接使用DicAnalysis.parse("酸汤鱼大份")时能够分词得到 “酸汤鱼|大|份”。 但是将分词过程放在rdd中处理时sc.textFile("").map(e=>DicAnalysis.parse(e))时得到的分词结果变成了“酸|汤|鱼|大|份”。 — You are receiving this because you are subscribed to this thread. Reply to this email directly, view...

应该是别的机器上没有初始化词典。你凡凡issue 以前有人问过。貌似得序列化传过去。不想加载的话 > On Jan 9, 2020, at 10:36 AM, nandily wrote: > > parse的时候指定词典试试 在2020年01月09日 09:44，nandily 写道： 使用ansj_seg5.1.6 使用DicLibrary.insertOrCreate("dish", "酸汤鱼", "userDefine", 10000)添加自定义字典。 当在命令行中直接使用DicAnalysis.parse("酸汤鱼大份")时能够分词得到 “酸汤鱼|大|份”。 但是将分词过程放在rdd中处理时sc.textFile("").map(e=>DicAnalysis.parse(e))时得到的分词结果变成了“酸|汤|鱼|大|份”。 — You are receiving...

挂载下用户自定义词典就好了 在2020年05月29日 15:35，DengHua 写道： 相同的一句话,用示例代码输出与预期不一致. 看 “尽我所能” 这几个字. 预期 欢迎/v,使用/v,ansj/en,_,seg/en,,,(,ansj/en,中文/nz,分词/n,),在/p,这里/r,如果/c,你/r,遇到/v,什么/r,问题/n,都/d,可以/v,联系/v,我/r,./m,我/r,一定/d,尽我所能/l,./m,帮助/v,大家/r,./m,ansj/en,_,seg/en,更快/d,,,更/d,准/a,,,更/d,自由/a,! 结果 欢迎/v,使用/v,ansj/en,_,seg/en,,,(,ansj/en,中文/nz,分词/n,),在/p,这里/r,如果/c,你/r,遇到/v,什么/r,问题/n,都/d,可以/v,联系/v,我/r,./m,我/r,一定/d,尽/v,我/r,所/u,能/v,./m,帮助/v,大家/r,./m,ansj/en,_,seg/en,更/d,快/a,,,更/d,准/a,,,更/d,自由/a,! — You are receiving this because you are subscribed to this thread. Reply to this email directly, view...

访问没有问题 写入的时候 需要使用者主意了 在2020年08月12日 16:37，CIT-worker 写道： 词典部分使用了hashmap的全局变量，这不是线程安全变量，这在多线程时可能产生死锁。 — You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub, or unsubscribe.

我觉得不能得自己搞

https://github.com/NLPchina/ansj_seg/blob/master/src/test/java/org/ansj/library/DicLibraryTest.java

很奇怪。理论上最上面的结果是不可能命中的。最上面的结果是不是相当于search *的效果。换句话说是query没有传对