bert4vec 使用自己训练过的模型是否效果更好

使用自己训练过的模型是否效果更好

Open jangjun21 opened this issue 2 years ago • 5 comments

1目前是直接加载预训练模型，不是自己训练过的,在预训练模型上面训练之后再生成句向量是否更好 2怎么训练roformer模型，它的数据格式是怎样的

Jan 09 '23 08:01 jangjun21

同问，如何使用自己的数据集去微调模型呢

Aug 21 '24 08:08 AriesYB

bert4vec 是一个基于 transformers 的句向量推理工具，目前不支持使用数据集进行微调

Aug 29 '24 09:08 zejunwang1

感谢回复，我后来找到bert4torch，里面有训练的代码。但是你的这个模型是不是微调过啊，和roformer-sim里的预训练模型不一样🤔

Aug 30 '24 00:08 AriesYB

这里的模型是苏神 roformer-sim 的原始版本，没有经过 finetune 的

Aug 30 '24 00:08 zejunwang1

roformer-sim项目里的下载不了，我是从这里下的 https://huggingface.co/junnyu/roformer_chinese_sim_char_base

Aug 30 '24 01:08 AriesYB