wwy510553871

Results 10 comments of wwy510553871

@GrittyChen 普通的transformer还是我自己的改进模型都出现了这种情况,在en-zh方向出现大量空输出

> @wwy510553871 我们自己用中英数据测试没有出现过这种情况,建议您打印一下模型输出的id,即未用词表解析之前的结果看一下。 我把那些输出空行的句子,组成了一个一个新的小测试集,并输出了一下输入id和输出id,发现输入id是正常的,但是模型输出的id都是一个UNK然后PAD,即[1,0,0,......] ![image](https://user-images.githubusercontent.com/26806447/63236716-6bf7b680-c271-11e9-9652-3f488ef9a99a.png)

@GrittyChen 这种情况下,是由于模型的因素造成的吗,即模型就把这些句子翻译成了这个答案吗

@GrittyChen 嗯嗯,谢谢你的回答,我考虑重新训练一下,我的数据量大概有3000万,这是训练了20万step后的结果。我还想咨询一下这个训练速度正常吗,大概用了一个星期时间,才训练了20万step

我的机器是单卡P40, 参数基本和UserManual.pdf中一致 ![image](https://user-images.githubusercontent.com/26806447/63242699-d10bd600-c28a-11e9-970e-86f608a22d12.png)

@Glaceon31 loss看起来是比较正常的,如下图 ![image](https://user-images.githubusercontent.com/26806447/63244848-13381600-c291-11e9-9521-86edfd8373d2.png) 测试脚本如下 ![image](https://user-images.githubusercontent.com/26806447/63244914-44b0e180-c291-11e9-99e7-6586991f6623.png) 可以尝试一下您说的方法验证一下,谢谢

@GrittyChen 嗯嗯,我现在重新走一遍,检查一下,谢谢你们的帮助

@Glaceon31 双引号那个,我不太确定原因,我不加双引号,我这边会报错,无法识别--parameter这个参数,测试脚本那里,我原来用的是${model_storage_path}\eval,我想试试是不是这个checkpoint有问题,就换成${model_storage_path}中最新的checkpoint了,发现仍有空输出,但是空输出的行和之前eval里的checkpoint空输出的行不同

@Glaceon31 按照您说的方法验证了一下,用1000条训练集训练模型,测试集也采用这1000条进行测试,训练到2000step,loss已经非常低了,但测试集的输出中仍有少量空行

@Glaceon31 不同的checkpoint会有不同的空行输出