battleman123
Results
2
issues of
battleman123
1. 有两个layernorm scale "encoder/block_000/layer_000/rms_norm/scale" "encoder/block_000/layer_001/rms_norm/scale"， 在使用load_tf_weights_in_t5填充torch版本的时候，由于huggingface中使用的是RMSNorm，没有scale参数，ffn之前有个LayerNorm，里面有个scale参数，这个参数加载的是“encoder/block_000/layer_000/rms_norm/scale”，但是他应该加载"encoder/block_000/layer_001/rms_norm/scale"这个参数。
When will Dolphin18K datasets be supported?