LLaMA-Factory

LLaMA-Factory copied to clipboard

您好，感谢您的github非常有用，在使用的时候有一些疑问想跟您请教下： 1.adapter_model.bin应该是lora文件，那checkpoint-xxxx的各个文件是不是没用了，global_step里的模型很大，有什么用么 2.export_model是不是把lora和原模型融合的代码？ 3.web_demo里为什么还需要checkpoint的位置，直接是融合后的模型可以么？

yw2278

HuggingFace -> Hugging Face

eltociear

SFT full parameter finetuning - Unable to load the model

4

I have finetuned LLaMa 7B with full parameters using the following command `deepspeed src/train_sft.py --model_name_or_path huggyllama/llama-7b --do_train --dataset dummy_identity --finetuning_type full --output_dir output/sft-dummy-v1 --overwrite_cache --per_device_train_batch_size 4 --gradient_accumulation_steps 1 --lr_scheduler_type cosine...

dittops

启动cli或者web_demo时如何加载reward和rlhf的checkpoint?

2

acbogeh

openaiapi compatible api_demo support

6

可以增加完全兼容openai api的api demo吗？这样的话，我们就可以使用大部分的前端，例如chatbotui，chatgpt-next 等。

luohao123

关于单机多卡训练问题

2

您好，请问如何实现将大模型的参数划分到多张卡上训练，而不是在每张卡上都加载整个模型参数。

Jingsong-Yan

ValueError: Target modules ['q_proj', 'v_proj'] not found in the base model. Please check the target modules and try again.

1

train_sft.py训练指令： CUDA_VISIBLE_DEVICES=0 python src/train_sft.py \ --model_name_or_path /data1/projects/baichuan-7B/ \ --do_train \ --dataset alpaca_gpt4_zh \ --finetuning_type lora \ --output_dir output \ --overwrite_cache \ --per_device_train_batch_size 4 \ --gradient_accumulation_steps 4 \ --lr_scheduler_type cosine \...

su-heyang

为什么用py脚本do_predict和web_demo中回答的结果不一样

5

模型是baichuan-7B 同样的问题，py脚本中do_predict的回复质量明显高于web_demo

Data2Me

baichuan微调后的web demo回复会出现"Human: "

2

用train_sft的do_predict预测了200条，没有"Human: "，但baichuan微调后的web demo回复会出现"Human: "  

Data2Me

Whether to support vicuna fine-tuning？

1

vicuna基于llama微调得到的，合并权重后，是否可以使用llama微调的方式微调vicuna，楼主有尝试过吗？

SuTn