Word2VEC_java icon indicating copy to clipboard operation
Word2VEC_java copied to clipboard

语料数据可否上传一下!

Open jbcsimple opened this issue 7 years ago • 7 comments

语料数据可否上传一下!

jbcsimple avatar Nov 08 '17 09:11 jbcsimple

用这个吧 https://pan.baidu.com/s/1jIy3YSY

ansjsun avatar Nov 21 '17 09:11 ansjsun

为什么运行后debug跟踪,发现loadjavaModel方法中的 words = dis.readInt(); size = dis.readInt(); words和size都是负数呢?

@ansjsun 我一开始以为是你发的这个百度网盘的预料文件太大导致的,删掉只剩下一行也是如此唉。

hexufeng avatar Nov 29 '17 09:11 hexufeng

我发的那个是语料。需要用语料训练成模型后再加载。不能直接加载语料

@hexufeng 你加载的是用java程序训练的model吗? 如果是google训练的model就用loadgooglemodel。如果是java生成的model就用loadjavamodel

ansjsun avatar Nov 29 '17 10:11 ansjsun

谢谢回复! 我调用的是 loadjavamodel ,请问下这个加载的文件哪里有,可以给个链接吗?

hexufeng avatar Dec 11 '17 12:12 hexufeng

loadjavamodel是你自己训练的model。不用下载。。根据语料生成模型后用loadjavamodel 加载

ansjsun avatar Dec 14 '17 02:12 ansjsun

训练上面给出的语料时候,报出java.lang.OutOfMemoryError: Java heap space,请问各位在测试的时候,jvm的参数是什么样的?

tangjx avatar Mar 13 '18 03:03 tangjx

@tangjx 需要将jvm的内存调大,参数是-Xmx10240m -Xms10240m,不过不建议用java版本的训练,我用1G的语料数据训练时,6G内存还是提示溢出了,而c语言版本训练时只是用了1G多的内存,java的内存要求太多了

zmj-ii avatar Mar 13 '18 11:03 zmj-ii