Chinese-Word-Vectors icon indicating copy to clipboard operation
Chinese-Word-Vectors copied to clipboard

作者你好,这个是否支持在我自己的语料上面,用word2vec模型再训练??

Open dotsonliu opened this issue 5 years ago • 14 comments

dotsonliu avatar Oct 17 '19 04:10 dotsonliu

下载Target Word Vectors和Context Word Vectors中的对应词向量就可以还原word2vec的所有参数,之后就可以继续训练了。

shenshen-hungry avatar Oct 17 '19 04:10 shenshen-hungry

我想用gensim的word2vec,加载你提供的预训练模型,再训练我的数据。直接加载预训练文件,就可以了吗? 还是说我要把预训练好的每个词向量抽出来,和我的语料对应?再加载训练?

---原始邮件--- 发件人: "Shen Li"<[email protected]> 发送时间: 2019年10月17日(星期四) 中午12:58 收件人: "Embedding/Chinese-Word-Vectors"<[email protected]>; 抄送: "DZ"<[email protected]>;"Author"<[email protected]>; 主题: Re: [Embedding/Chinese-Word-Vectors] 作者你好,这个是否支持在我自己的语料上面,用word2vec模型再训练?? (#89)

下载Target Word Vectors和Context Word Vectors中的对应词向量就可以还原word2vec的所有参数,之后就可以继续训练了。

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

dotsonliu avatar Oct 17 '19 05:10 dotsonliu

并不清楚gensim的相关用法。如何使用gensim可以去看一下gensim的文档。

shenshen-hungry avatar Oct 17 '19 05:10 shenshen-hungry

那我只能用google原版的word2vec工具,再训练吗?

---原始邮件--- 发件人: "Shen Li"<[email protected]> 发送时间: 2019年10月17日(星期四) 中午1:11 收件人: "Embedding/Chinese-Word-Vectors"<[email protected]>; 抄送: "DZ"<[email protected]>;"Author"<[email protected]>; 主题: Re: [Embedding/Chinese-Word-Vectors] 作者你好,这个是否支持在我自己的语料上面,用word2vec模型再训练?? (#89)

并不清楚gensim的相关用法。如何使用gensim可以去看一下gensim的文档。

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

dotsonliu avatar Oct 17 '19 05:10 dotsonliu

所有的工具都可以,前提是需要吧训练好的参数先导回到模型。word2vec可以改代码实现,gensim就不知道了。

shenshen-hungry avatar Oct 17 '19 05:10 shenshen-hungry

有改好的可直接用的工具吗?自己改的话不是专业做这块的,会很慢

---原始邮件--- 发件人: "Shen Li"<[email protected]> 发送时间: 2019年10月17日(星期四) 中午1:15 收件人: "Embedding/Chinese-Word-Vectors"<[email protected]>; 抄送: "DZ"<[email protected]>;"Author"<[email protected]>; 主题: Re: [Embedding/Chinese-Word-Vectors] 作者你好,这个是否支持在我自己的语料上面,用word2vec模型再训练?? (#89)

所有的工具都可以,前提是需要吧训练好的参数先导回到模型。word2vec可以改代码实现,gensim就不知道了。

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

dotsonliu avatar Oct 17 '19 05:10 dotsonliu

我想用gensim的word2vec,加载你提供的预训练模型,再训练我的数据。直接加载预训练文件,就可以了吗? 还是说我要把预训练好的每个词向量抽出来,和我的语料对应?再加载训练? ---原始邮件--- 发件人: "Shen Li"<[email protected]> 发送时间: 2019年10月17日(星期四) 中午12:58 收件人: "Embedding/Chinese-Word-Vectors"<[email protected]>; 抄送: "DZ"<[email protected]>;"Author"<[email protected]>; 主题: Re: [Embedding/Chinese-Word-Vectors] 作者你好,这个是否支持在我自己的语料上面,用word2vec模型再训练?? (#89) 下载Target Word Vectors和Context Word Vectors中的对应词向量就可以还原word2vec的所有参数,之后就可以继续训练了。 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

请问题主这个问题解决了么,如何用gensim读取这边的Context Word Vectors再继续训练?

wrptc avatar Apr 20 '20 03:04 wrptc

model = gensim.models.Word2Vec.load('D:\BaiduNetdiskDownload\sgns.weibo.word\sgns.weibo.word')

545314690 avatar Apr 23 '20 06:04 545314690

model = gensim.models.Word2Vec.load('D:\BaiduNetdiskDownload\sgns.weibo.word\sgns.weibo.word')

难道是我的版本不对吗-。- 我使用的是sgns.wiki.word只能用KeyedVectors.load_word2vec_format,不能用Word2Vec.load,我看了一下sgns.wiki.word这个文件里面只有最终的词向量没有Context Word Vectors,应该没办法导入到models.Word2Vec里面吧。。

wrptc avatar Apr 23 '20 08:04 wrptc

想问下题主最后解决了么

sendRainAutumn avatar Apr 19 '21 05:04 sendRainAutumn

同樣求解 不過看起來自己用 TF 解決應該是目前唯一的辦法...

frankShih avatar Aug 26 '22 08:08 frankShih

你好,谢谢你的来信,祝你生活愉快,身体健康。

HunterHeidy avatar Aug 26 '22 08:08 HunterHeidy

这里面只有词向量文件,并没有看到有模型参数文件啊

xuefeng199507 avatar Nov 07 '22 09:11 xuefeng199507

你好,谢谢你的来信,祝你生活愉快,身体健康。

HunterHeidy avatar Nov 07 '22 09:11 HunterHeidy