FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard
verified publisher icon FlagOpen

qwen2.5-0.5B作为基座使用flagembedding-decoder_only脚本训练embedding模型

Open hellostronger opened this issue 10 months ago • 1 comments

Image 这个是我的训练脚本，同一分数据，我微调zh-v1.5-bge-small，在验证集效果更好，为什么qwen0.5B参数量不是更大吗，求指点哪里出了问题

hellostronger avatar Feb 18 '25 11:02 hellostronger

数据量是多少呢 zh-v1.5-bge-small已经具备了通用的检索能力，只需要在领域内稍微训一下就可以达到很好的效果了 而qwen0.5B本身是不具备检索能力的，因此微调qwen0.5B需要足够多的数据

545999961 avatar Feb 20 '25 09:02 545999961