cw2vec-pytorch icon indicating copy to clipboard operation
cw2vec-pytorch copied to clipboard

训练出错

Open XudongHou opened this issue 5 years ago • 9 comments

使用提供的raw数据和自己做的分词数据进行训练都遇到了这样的问题, 请问这个keyError的原因可能是什么?

[training] 136536/498250 [>>>>>>>> ] -0.0s/step loss: 1.4116 [2019-07-08 23:25:35]: cw2vec trainer.py[line:79] INFO saving word2vec vector save vector: 67%|██████▋ | 8839/13259 [00:00<00:00, 17438.27it/s] Traceback (most recent call last): File "E:/workstation/cw2vec-pytorch/train_cw2vec.py", line 95, in main() File "E:/workstation/cw2vec-pytorch/train_cw2vec.py", line 76, in main trainer.train() File "E:\workstation\cw2vec-pytorch\pycw2vec\train\trainer.py", line 145, in train self.save() File "E:\workstation\cw2vec-pytorch\pycw2vec\train\trainer.py", line 87, in save word = id_word[i] KeyError: 9965

XudongHou avatar Jul 09 '19 03:07 XudongHou

我也是这个问题,请问您解决了吗

hziheng avatar Oct 23 '19 03:10 hziheng

我也是这个问题,请问您解决了吗 字典未含有key,我使用python Dict类的get方法去规避了key error问题,可能是遇见了oov问题吧

XudongHou avatar Oct 30 '19 08:10 XudongHou

我也是这个问题,请问您解决了吗 字典未含有key,我使用python Dict类的get方法去规避了key error问题,可能是遇见了oov问题吧

请问除了这个问题,您在运行这个程序的时候loss值有在下降吗,我运行的时候一直都没有收敛

hziheng avatar Oct 30 '19 08:10 hziheng

我也是这个问题,请问您解决了吗 字典未含有key,我使用python Dict类的get方法去规避了key error问题,可能是遇见了oov问题吧

请问除了这个问题,您在运行这个程序的时候loss值有在下降吗,我运行的时候一直都没有收敛

有段时间没跑这个嵌入训练了,记不起来细节了。印象中解决完这个bug其他都是比较顺的。

XudongHou avatar Oct 31 '19 01:10 XudongHou

感谢您

------------------ 原始邮件 ------------------ 发件人: "HouXudong"<[email protected]>; 发送时间: 2019年10月31日(星期四) 上午9:54 收件人: "lonePatient/cw2vec-pytorch"<[email protected]>; 抄送: "黄子恒"<[email protected]>; "Comment"<[email protected]>; 主题: Re: [lonePatient/cw2vec-pytorch] 训练出错 (#3)

我也是这个问题,请问您解决了吗 字典未含有key,我使用python Dict类的get方法去规避了key error问题,可能是遇见了oov问题吧

请问除了这个问题,您在运行这个程序的时候loss值有在下降吗,我运行的时候一直都没有收敛

有段时间没跑这个嵌入训练了,记不起来细节了。印象中解决完这个bug其他都是比较顺的。

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

hziheng avatar Oct 31 '19 02:10 hziheng

我也是这个问题,请问您解决了吗 字典未含有key,我使用python Dict类的get方法去规避了key error问题,可能是遇见了oov问题吧

请问您是怎么规避这个ooV问题的啊,我想跑一个word-similarity的任务,但是就总是出现ValueError: %d not in vocab 这个错

klqqq avatar May 20 '20 07:05 klqqq

使用字典的get方法,可以避免这个错误

------------------ 原始邮件 ------------------ 发件人: "klqqq"<[email protected]>; 发送时间: 2020年5月20日(星期三) 下午3:18 收件人: "lonePatient/cw2vec-pytorch"<[email protected]>; 抄送: "huang"<[email protected]>; "Comment"<[email protected]>; 主题: Re: [lonePatient/cw2vec-pytorch] 训练出错 (#3)

我也是这个问题,请问您解决了吗 字典未含有key,我使用python Dict类的get方法去规避了key error问题,可能是遇见了oov问题吧

请问您是怎么规避这个ooV问题的啊,我想跑一个word-similarity的任务,但是就总是出现ValueError: %d not in vocab 这个错

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

hziheng avatar May 24 '20 11:05 hziheng

请问你们训练了多久

Crescentz avatar Nov 09 '20 14:11 Crescentz

使用字典的get方法,可以避免这个错误 ------------------ 原始邮件 ------------------ 发件人: "klqqq"<[email protected]>; 发送时间: 2020年5月20日(星期三) 下午3:18 收件人: "lonePatient/cw2vec-pytorch"<[email protected]>; 抄送: "huang"<[email protected]>; "Comment"<[email protected]>; 主题: Re: [lonePatient/cw2vec-pytorch] 训练出错 (#3) 我也是这个问题,请问您解决了吗 字典未含有key,我使用python Dict类的get方法去规避了key error问题,可能是遇见了oov问题吧 请问您是怎么规避这个ooV问题的啊,我想跑一个word-similarity的任务,但是就总是出现ValueError: %d not in vocab 这个错 — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

请问你训练了多久,就是用zhihu.txt么,会不会数据太小了。用wiki的话大概要多久

Crescentz avatar Nov 09 '20 14:11 Crescentz