SPACES icon indicating copy to clipboard operation
SPACES copied to clipboard

关于训好的seq2seq的model在不同机器上跑同样的测试集但是生成效果或分数有差别的疑问?

Open PYMAQ opened this issue 3 years ago • 4 comments

苏神你好,发现seq2seq的模型训练好后,在当前机器上生成摘要的结果每次都是固定的,正常的。但是一旦换了个机器,同样的模型居然生成不一样的结果(略微有区别),这个正常吗?是代码里面哪里设定了随机参数吗?可是为什么同一个机器生成的就不会,换个机器做inference就会出现这种情况?之前怀疑过是不是跟版本问题有关比如keras,bert4keras,tf,但是都设定为一样了,同样model在不同机器还是会出现生成的结果不同的情况,请问您这边有什么建议或指教吗?非常感谢!!

PYMAQ avatar Jul 21 '21 17:07 PYMAQ

这个我真没经验了~模型本身不存在特别的随机参数。

bojone avatar Jul 23 '21 08:07 bojone

好的,估计是多次调参后没搞版本管理。谢谢苏神!!!!!!!

PYMAQ avatar Jul 23 '21 08:07 PYMAQ

image 您好,找到问题了,我之前注释了这行代码,发现结果就变了,现在没注释,输出结果就跟之前一样。应该是跟加载多折模型进行抽取有关吧?

PYMAQ avatar Jul 23 '21 08:07 PYMAQ

注释掉不就随机权重了嘛~

bojone avatar Aug 10 '21 15:08 bojone