BGE模型做完Pretrain后只保存了embedding的权重，这是否正常？

Open liangxuZhang opened this issue 1 year ago • 2 comments

cc @staoxiao

Apr 17 '24 09:04 liangxuZhang

只要加载训练后模型没报找不到参数即可。

Apr 17 '24 12:04 staoxiao

encoder_model下的model.safetensors只保存了embedding的weight，加载时同样是找不到其他参数。

在save_pretrained的时候设置safe_serialization=False会将权重保存为.bin格式可以暂时解决这个问题，参考https://github.com/huggingface/transformers/issues/28630#issuecomment-1907226748

但是我没有找到哪里使得除了word_embedding之外的权重变成了共享参数 @staoxiao

Apr 17 '24 13:04 liangxuZhang