DB-GPT-Hub

DB-GPT-Hub copied to clipboard

A40显卡微调Qwen1.5-7B-Chat报错：RuntimeError: mat1 and mat2 must have the same dtype, but got Float and BFloat16

2

``` CUDA_VISIBLE_DEVICES=0,1 python dbgpt_hub/train/sft_train.py \ --model_name_or_path $model_name_or_path \ --do_train \ --dataset $dataset \ --max_source_length 2048 \ --max_target_length 512 \ --finetuning_type lora \ --lora_target q_proj,v_proj \ --template chatml \ --lora_rank 64...

lordk911

请问怎么自定义数据集

1

我的数据集不是关于SQL的可以微调别的数据集吗

GuohuanFeng0

评估中每一列分别代表什么？

1

请问每一列分别代表什么？我看到写的overall是0.789但是首页标注着一列是median CodeLlama-13b-Instruct-hf_lora 0.789 sft train by our this project,only used spider train dataset, the same eval way in this project with lora SFT. The [weights](https://huggingface.co/Wangzaistone123/CodeLlama-13b-sql-lora) has pulished . CodeLlama-13B-Instruct base...

tongcu

pip install dbgpt-hub Report an error

1

安装最新的dbgpt-hub依赖提示如下错误 ![Uploading Snipaste_2024-04-28_17-50-55.png…]()

zhangkuo-zk

切换数据库和知识库，所有的对话都会同步修改，非常不友好

zhangkuo-zk

请问为什么合并模型的时候does not contain a a LORA weight

2

微调训练后，合并模型的时候出现does not contain a a LORA weight报错，请问是因为什么  

GuohuanFeng0

我用如下参数进行训练，lora相关参数与**3.5、模型权重**中huggingface提供的相同，在Spider official size 95M database上evaluate，execution accuracy为0.766，使用huggingface提供的权重execution accuracy为0.787，请问可以提供huggingface上公开模型的训练参数吗？ model_args*************************** ModelArguments(model_name_or_path='codellama/CodeLlama-13b-Instruct-hf', cache_dir=None, use_fast_tokenizer=False, use_auth_token=False, model_revision='main', padding_side='left', quantization_bit=None, quantization_type='nf4', double_quantization=True, rope_scaling=None, checkpoint_dir=None, plot_loss=True, hf_auth_token=None, compute_dtype=torch.bfloat16, model_max_length=2560, hf_hub_token=None, split_special_tokens=False) data_args*************************** DataArguments(template='llama2', dataset='example_text2sql_train', dataset_dir='dbgpt_hub/data/', cutoff_len=1024,...

jiechuangu

Hello, I'm looking to fine-tune the starcoder2 model, but am not sure which "template" to use. I am using "llama2", but its "inference progress" takes 150 minutes (too long for...

am4ever

请问目前是仅支持lora和qlora微调吗，全参数微调后续会开放吗？

3

谢谢各位作者优秀的工作！ 请问各位author有没有做过实验评估全参数微调和peft后的模型性能各自怎么样呢？希望解惑～～

CUCldyyyyy

执行poetry install下载报错

5


Yokixixi