chenyunsai

 这个能保证每个batch 都会再随机采样么，还是在第一次就固定了全部的训练数据

BAAI/bge-m3 微调效果差

2

我的场景是rag的召回,尝试训练BAAI/bge-m3 数据集格式是 { query:[query], pos:[pos], neg:[neg1,neg2,neg3....] 【10个】 } 一些关键参数 batchsize 16 perdivce 2 gpu 8 per_device_train_batch_size 1 num_train_epochs 5 temperature 0.01 learning_rate 2e-5 normlized False 计算相似度的方法 cos_similarity 但是训练的效果特别差 ，设置比不训练的版本在测试集上表现还要差，大家有遇到类似的事情么

The inference speed is very slow after the model is quantized.

1

This is my quantize code: from transformers import AutoTokenizer, TextGenerationPipeline from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig import logging import random import torch def get_wikitext2(nsamples, seqlen, model): from datasets import load_dataset traindata...