chaofan
chaofan
1、bge系列的encoder模型都是用cls输出相似分数，decoder是用[eos] token输出相似分数 2、lightweight是可以进行压缩，从而达到轻量化的效果 3、没有统计过具体推理速度，但是只输出一个分数的话2b的模型也很快的
@n0isy Hello, we have updated the version. Alternatively, you can install `transformers==4.46.0`.
数据量是多少呢 zh-v1.5-bge-small已经具备了通用的检索能力，只需要在领域内稍微训一下就可以达到很好的效果了 而qwen0.5B本身是不具备检索能力的，因此微调qwen0.5B需要足够多的数据
CPU利用率满了，那说明CPU已经充分利用了，如果GPU利用率小的话应该还是数据处理速度是瓶颈
可以检查一下，是否normalize embedding，以及是否用了[CLS] token的embedding作为最终输出
训练时pos是必须有的 可以考虑用LLM为query造一些正例进行训练
Yes, the fine-tuning code for Gemma-2 as a reranker can be adapted for other LLMs like LLaMA or Mistral.
这里需要修改下compute_score的源码，把trange换成range，把tqdm去掉
这个normalize是用了sigmoid函数的归一化，并不是依据模型输出范围的归一化
You need to load model from `output_dir/merged_model`, not `checkpoint-*`. The model in `checkpoint-*` is the LORA weight.