FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

The embedding values ​​returned by calling the BGEM3FlagModel.encode() method are different

Open hemintang opened this issue 9 months ago • 1 comments

1、code from FlagEmbedding import BGEM3FlagModel model = BGEM3FlagModel('BAAI/bge-m3', use_fp16=True)

print(model.encode(['萌龙大乱斗'])['dense_vecs']) print(model.encode(['萌龙大乱斗', '《萌龙大乱斗》是一款由Gameloft开发的以龙为主题的模拟经营游戏。在游戏中,玩家可以按照自己的心意育成各具个性的龙,并与它们一起踏上冒险之旅。养育龙的过程中,你不仅需要帮助它们建造住所、喂食以提升等级,还要通过不断训练来强化技能,当然,让不同属性的龙相互交配产出具有特殊性质的个体也是其中的一大乐趣。在包罗万象的游戏中繁育靓龙参加战斗,开启精彩的冒险之旅!与栩栩如生的萌龙互动嬉戏,在龙之岛修建栖息地,在妙趣横生的小游戏中喂养幼龙,带着它们去探索广袤世界!还想更过瘾?那就去3对3的战斗中挑战好友或维京人吧!让最强大的成年龙杂交来获取新的龙种以完成收藏,甚至还能获得神秘的传奇龙哟!
★游戏特色★
- 萌龙们变得前所未有的炫酷啦!令人叹为观止的视觉效果让缤纷多彩的岛屿和龙之岛居民们栩栩如生!
- 萌宠们离不开你的悉心照料!给它们喂食,抚摸并关爱它们,获得额外的金币和特殊奖励。 
- 超过350块拼图助你打造豪华靓龙收藏,让你的可爱萌龙朋友们成群结队而来!
- 带领你的龙战队称霸岛屿!多多参与战斗,扩大萌龙收藏并提升技能,向更高级的联赛奋力冲刺!
- 每次更新都会为你带来新的季赛和任务,保证让你乐此不疲!
- 争当战场枭雄!去竞技场挑战对手,获得超凡大奖!
- 结交好友,访问它们的岛屿并交换礼物!
- 创建运筹帷幄的部落!利用部落聊天功能,大家群策群力,制定最佳作战策略,或者讨论各自的计划打算!', '合成', '模拟经营', 'a', 'bb'])['dense_vecs'])

2、result first text "萌龙大乱斗" embdedding value is diffrent a、[-0.01105 0.01665 -0.03333 ... -0.001621 0.01932 0.00427 ] b、[-0.011086 0.0167 -0.0332 ... -0.001672 0.0192 0.00428 ]

hemintang avatar Mar 18 '25 06:03 hemintang

Hello, @hemintang. This results from the padding when encoding multiple sentences in one batch, which is normal.

Refer to:

  • https://github.com/FlagOpen/FlagEmbedding/blob/master/FlagEmbedding/inference/embedder/encoder_only/m3.py#L417

hanhainebula avatar Mar 21 '25 04:03 hanhainebula