FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

bge-m3稀疏向量在不同的卡上跑出的结果不一样

Open scd10 opened this issue 1 year ago • 1 comments

在三张不同型号的英伟达的卡上跑同一个片段的稀疏向量,都是全精度的,以输出的其中一个向量(id:4)为例: 卡1: "4": 0.016722925007343292 卡2: "4": 0.0167231485247612 卡3: "4": 0.016723912209272385 这个正常不?

如果用fp16的话差异更大,在小数点后3位就会不一样,这样如果混用不同的卡会影响效果么?

scd10 avatar Jul 30 '24 09:07 scd10

差别看起来不大,可以接受

staoxiao avatar Aug 10 '24 15:08 staoxiao