PaddleFleetX icon indicating copy to clipboard operation
PaddleFleetX copied to clipboard

Published 20 hours ago • verified publisher icon PaddlePaddle

paddle fleet 我用distribute_transpiler模式训练，我想把embeding 固定 住。报错

Open zle1992 opened this issue 4 years ago • 3 comments

paddle fleet 我用distribute_transpiler模式训练，我想把embeding 固定住，trainable=False，训练的时候报错说embeding 没有初始化。trainable改成true就没问题了，可以帮忙看下嘛？ 82991b0195420d1e04368be78bb5d558

zle1992 avatar Apr 26 '20 11:04 zle1992

trainable=False这块有问题修复.

当前解决方法： 1.trainable=True，但设置学习率为0. 2. 每一个trainer本地重新初始化(load_variable)一下emb。

seiriosPlus avatar Apr 26 '20 11:04 seiriosPlus

load_variable

设置成0了，训练了一会报下面的错误 image

zle1992 avatar Apr 26 '20 14:04 zle1992

trainable=False这块有问题修复.

当前解决方法： 1.trainable=True，但设置学习率为0. 2. 每一个trainer本地重新初始化(load_variable)一下emb。

第二种方法可以详细说下嘛

zle1992 avatar Apr 26 '20 14:04 zle1992