zhaobinNF
zhaobinNF
我们在使用MTP全量数据进行训练的时候，发现收敛速度非常快，差不多0.1个epoch就收敛了。想问下这种还有必要训练多个epoch吗？我们使用的基础模型不是bge，所以不会有重复训练的问题。如下是我的一些参数设置
您好，想问一下bge-m3的基座模型是什么
如何在启动时直接关闭这个wandb呢，就不用每次都选了，启动训练命令如下： torchrun --nproc_per_node 8 \ -m FlagEmbedding.baai_general_embedding.finetune.run \ --output_dir ./output_1115_cleaned_data_8gpu \ --model_name_or_path /work/share/embed/model/bge-large-zh \ --train_data /work/share/embed/data/results/qa_after_cluster.jsonl \ --learning_rate 1e-5 \ --fp16 \ --num_train_epochs 3 \ --per_device_train_batch_size 1 \ --dataloader_drop_last True...
how to use other datasets for training
这个目录下面的文章都是知识图谱相关的吗
您好，在复现bge的效果过程中，我发现t2retrieval的效果一直上不去，我怀疑跟自己对t2ranking数据集的处理方式有关。我在使用t2ranking数据集的时候，是使用label为2/3的作为pos,label为0/1的为neg,并且是否使用了官方挖掘的负样例。想问下你们是如何准备t2ranking的数据用于微调训练的啊