wwy510553871
wwy510553871
@GrittyChen 普通的transformer还是我自己的改进模型都出现了这种情况,在en-zh方向出现大量空输出
> @wwy510553871 我们自己用中英数据测试没有出现过这种情况,建议您打印一下模型输出的id,即未用词表解析之前的结果看一下。 我把那些输出空行的句子,组成了一个一个新的小测试集,并输出了一下输入id和输出id,发现输入id是正常的,但是模型输出的id都是一个UNK然后PAD,即[1,0,0,......] 
@GrittyChen 这种情况下,是由于模型的因素造成的吗,即模型就把这些句子翻译成了这个答案吗
@GrittyChen 嗯嗯,谢谢你的回答,我考虑重新训练一下,我的数据量大概有3000万,这是训练了20万step后的结果。我还想咨询一下这个训练速度正常吗,大概用了一个星期时间,才训练了20万step
我的机器是单卡P40, 参数基本和UserManual.pdf中一致 
@Glaceon31 loss看起来是比较正常的,如下图  测试脚本如下  可以尝试一下您说的方法验证一下,谢谢
@GrittyChen 嗯嗯,我现在重新走一遍,检查一下,谢谢你们的帮助
@Glaceon31 双引号那个,我不太确定原因,我不加双引号,我这边会报错,无法识别--parameter这个参数,测试脚本那里,我原来用的是${model_storage_path}\eval,我想试试是不是这个checkpoint有问题,就换成${model_storage_path}中最新的checkpoint了,发现仍有空输出,但是空输出的行和之前eval里的checkpoint空输出的行不同
@Glaceon31 按照您说的方法验证了一下,用1000条训练集训练模型,测试集也采用这1000条进行测试,训练到2000step,loss已经非常低了,但测试集的输出中仍有少量空行
@Glaceon31 不同的checkpoint会有不同的空行输出