tomtang110

发现，大数据训练loss超级大，感觉代码有问题吧，我训练完一个epoch， loss无限大，验证集分数全部为0

换模型吧，QA模型对中文数据集敏感太大。 获取 Outlook for Android ________________________________ From: 曾俊 Sent: Monday, March 25, 2019 11:01:06 PM To: SeanLee97/QANet_dureader Cc: tomtang110; Author Subject: Re: [SeanLee97/QANet_dureader] 关于loss变得异常大的问题 (#8) 您好，我也遇到了，这类情况，请问您解决了吗，可以分享下吗 ― You are receiving...

检验过代码确实没啥明显问题 获取 Outlook for Android ________________________________ From: fanweifengdw Sent: Thursday, June 6, 2019 1:06:33 PM To: SeanLee97/QANet_dureader Cc: tomtang110; Author Subject: Re: [SeanLee97/QANet_dureader] 关于loss变得异常大的问题 (#8) 拿全部数据集训练也有这个问题，确定代码没问题？？ ― You are receiving...

这个真不适合中文，都什么年代了用bert吧，可以训练但是中文数据集不好 获取 Outlook for Android ________________________________ From: sarahyq Sent: Thursday, June 20, 2019 7:42:10 PM To: SeanLee97/QANet_dureader Cc: tomtang110; Author Subject: Re: [SeanLee97/QANet_dureader] 关于loss变得异常大的问题 (#8) 有没有报错的代码吗？我直接用代码报TypeError: Failed to convert object...

这种情况非常罕见，我觉得可能涉及到，语义的一些东西在里面，只能说QAnet这个网络设计的不够general。你看同是selfattention机制，bert和今天才出的xlnet就具有泛化。 获取 Outlook for Android ________________________________ From: sarahyq Sent: Thursday, June 20, 2019 8:26:32 PM To: SeanLee97/QANet_dureader Cc: tomtang110; Author Subject: Re: [SeanLee97/QANet_dureader] 关于loss变得异常大的问题 (#8) 换模型吧，QA模型对中文数据集敏感太大。 获取 Outlook for Androidhttps://aka.ms/ghei36...

还有个问题，我128G + 1080显卡， 每次跑到后面都会内存占满，导致计算机卡死，请问有办法解决吗？

在用char_embedding的时候会爆错误 word_dict = pkl.load(fin) _pickle.UnpicklingError: invalid load key, '7'. 使用了gzip去打开还是报错。

还有一个bug指出来一下，在预训练时候没有initial_chars，应该改为initial_tokens

> 第二张报错图片，像是上一次的任务没有kill干净 难道是val set设置为0？

 这个代码确实有问题，一直卡在那里不动，cpu利用率5%，gpu占了700多mb，就卡死了，感觉是锁死了。