Embedding icon indicating copy to clipboard operation
Embedding copied to clipboard

word2vec效果

Open cc-cb opened this issue 4 years ago • 3 comments

使用您提供的框架训练跟spark版本,python gensim版本对比,效果差别比较大,没有找出原因所在

cc-cb avatar Oct 19 '20 07:10 cc-cb

@cc-cb 是嘛?之前在item2vec上拿这套框架跑过比较大的数据,感觉效果还比较符合预期,但确实没和gensim仔细对比有。有代码和case可以看下么?我看下能不能复现下找找问题在哪里~

DSXiangLi avatar Oct 19 '20 11:10 DSXiangLi

你训练大量数据需要多长时间,我是用分布式跑的,很快就结束了

cc-cb avatar Oct 20 '20 02:10 cc-cb

@cc-cb 这个当时用的和这里给的还不太一样,参数和dataset的部分都没用这里的。印象中100万左右数据,100epochs,batch =1000跑了几个小时吧

DSXiangLi avatar Oct 21 '20 23:10 DSXiangLi