t5-pegasus-pytorch icon indicating copy to clipboard operation
t5-pegasus-pytorch copied to clipboard

Published 20 hours ago • verified publisher icon renmada

LayerNorm scale参数转的没匹配上

Open battleman123 opened this issue 3 years ago • 2 comments

  1. 有两个layernorm scale "encoder/block_000/layer_000/rms_norm/scale" "encoder/block_000/layer_001/rms_norm/scale"， 在使用load_tf_weights_in_t5填充torch版本的时候，由于huggingface中使用的是RMSNorm，没有scale参数，ffn之前有个LayerNorm，里面有个scale参数，这个参数加载的是“encoder/block_000/layer_000/rms_norm/scale”，但是他应该加载"encoder/block_000/layer_001/rms_norm/scale"这个参数。

battleman123 avatar Aug 17 '21 08:08 battleman123

感谢提醒，找个时间看看

renmada avatar Aug 30 '21 07:08 renmada

感谢提醒，找个时间看看

您好，请问这个转换问题解决了嘛~

Elenore1997 avatar Dec 15 '22 02:12 Elenore1997