Jianlyu Chen

您好，预训练部分的数据我们没有做什么额外的处理，且这部分数据量太大，我们不打算开源这部分数据，我们仅仅会开源所有的微调数据。如果您有需要可以参照我们的论文自行下载相应的数据。

> 下面代码运行很慢，一次向量化需要17秒，不管是CPU还是GPU都很慢，请问这个怎么解决 > > ``` > from multiprocessing import freeze_support > from FlagEmbedding import BGEM3FlagModel > import time > > def main(): > model = BGEM3FlagModel('BAAI/bge-m3', > use_fp16=True) # Setting...

你好，方便贴一下你的测试代码吗？

谢谢你发现这个问题！我们找到了原因，是因为 `compute_score` 中的 `_tokenize` 函数把输入 padding 到设置的 `max_length` 了，这里应该设置成 `padding=True`，按照输入的最大长度进行 padding。目前已经[更新了代码](https://github.com/FlagOpen/FlagEmbedding/commit/0d42b5da49a7196825836081cec5b7127e14bb9f)。 现在上面的测试代码在 1 张 A800 GPU 上的测试结果如下： max_passage_length=8192 cost_time: 0.5043973922729492 max_passage_length=8192 cost_time: 0.028858423233032227 max_passage_length=8192 cost_time: 0.028004169464111328 max_passage_length=8192 cost_time: 0.027806520462036133 max_passage_length=8192...

您好，如果您只想 finetune bge-m3 的 dense embedding，二者没有区别，可以参照 bge-v1.5 的参数进行微调 https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/finetune#3-train

> 查阅到config文件，请问是250002吗？ 是的。

Thank you for finding this bug. We have fixed it.

参考这个 [issue](https://github.com/FlagOpen/FlagEmbedding/issues/453)，你可以先检查下模型文件是否损坏。

> > 可以参考huggingface上的讨论：https://huggingface.co/BAAI/bge-m3/discussions/22 > > 当batch越来越大时会不会带来更明显的差异？ 我用下面的代码做了测试： ```python import numpy as np from FlagEmbedding import BGEM3FlagModel model = BGEM3FlagModel('BAAI/bge-m3', use_fp16=True, device='cuda:0') sentences = [ "挪威属于哪一大洲？", "挪威\n挪威国内先后两次投票表决是否加入欧盟，都未能在议会中通过。主要是挪威担心加入欧盟后会对本国农业带来巨大的冲击。但是，挪威属于欧洲贸易自由圈，所以在很多程度上，挪威经济和欧盟紧密相关。", "北歐五國\n北歐五國是位於北歐的丹麥、芬蘭、冰島、挪威和瑞典及其附屬領土如属-{zh-hans:于; zh-hant:於}-丹麦的法羅群島、格陵蘭，属于芬兰的奧蘭群島和属于挪威的斯瓦尔巴群岛的統稱。而由于地理位置原因，挪威南极领地通常不被视为北欧五国的一部分。欧洲的一些地区，例如苏格兰的北方群島，与北欧五国有着文化或种族上的联系，但不被认为属于北欧五国。诺斯人占该地区人口的四分之三以上，是最大的族群，其次是芬兰人，在芬兰占大多数。其他种族包括格陵蘭伊努伊特人、萨米人以及新移民及其后裔。", "挪威地理\n挪威位于欧洲北部斯堪的纳维亚半岛，西面与北面临大西洋，东北面滨临俄罗斯（陆上边界长196公里）、芬兰（陆上边界长729公里），东面与瑞典（陆上边界长1619公里）接壤，南面与丹麦隔海相望。", "北挪威\n馬格爾島上的，是歐洲地理範圍的最北端，旅遊業則常以旁邊較易到達的北角為最北端，而歐洲大陸的最北端諾爾辰角也在北挪威。","挪威經濟\n挪威国内先后两次投票表决是否加入欧盟，都未能在议会中通过。主要是挪威担心加入欧盟后会对本国农业带来巨大的冲击。但是，挪威属于欧洲贸易自由圈，所以在很多程度上，挪威经济和欧盟紧密相关。",...

Hello! Could you paste your code here? I will check it.