FlagEmbedding
FlagEmbedding copied to clipboard
FlagOpen
Retrieval and Retrieval-augmented LLMs
BGE Visual runs on cpu is quite slow?Waiting for cuda support
 cc @staoxiao
如图，使用m3de 数据，微调自己的mt5-encoder模型，batch_size 受限，调整了group_size 到21，试了几个数据集都如此，训练一段时间后，loss跳到0.0，请问下可能是啥原因？ --train_data miracl \ --learning_rate 2e-5 \ --fp16 \ --num_train_epochs 5 \ --per_device_train_batch_size 1 \ --dataloader_drop_last True \ --normlized True \ --temperature 0.02 \ --sentence_pooling_method "mean" \...
我的微调命令就是基于本仓库提供的示例 https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/unified_finetune 微调命令： `export CUDA_VISIBLE_DEVICES=0,1 torchrun --nproc_per_node 2 \ -m FlagEmbedding.BGE_M3.run \ --output_dir /output \ --model_name_or_path /embedding_model/bge-m3 \ --train_data /test_1k.jsonl \ --learning_rate 1e-5 \ --fp16 \ --num_train_epochs 5 \ --per_device_train_batch_size...
比如bge-reranker-v2-minicpm-layerwise, bge-reranker-v2.5-gemma2-lightweight等模型 示例中 使用hunggingface的库加载，加入了prompt 使用FlagEmbedding的库加载，没有使用prompt，应该是自动加入了 但bge-reranker-v2.5-gemma2-lightweight，好像提出了4种不同的prompt，在使用FlagEmbedding库的时候又怎么区分和指定prompt呢？
如题，感谢
I have a train dataset with query,pos,neg. Is there a script to include knowledge distulation for scoring pos and negs?
我想对bge-m3进行unified fine-tuning，按照readme里的步骤进行，但是报错了。 报错信息： ```python Traceback (most recent call last): File "", line 198, in _run_module_as_main File "", line 88, in _run_code File "/home/binbin.zeng/FlagEmbedding/FlagEmbedding/BGE_M3/run.py", line 155, in main() File "/home/binbin.zeng/FlagEmbedding/FlagEmbedding/BGE_M3/run.py", line...
