LMFlow strange response

模型权重是在 https://huggingface.co/LMFlow/Robin-7b-v2/tree/main 下载的，应该不需要再合并了。启动命令使用的是： CUDA_VISIBLE_DEVICES=0 python examples/chatbot.py --model_name_or_path /home/gpt/weights/Robin-7b-v2 --deepspeed configs/ds_config_chatbot.json --use_ram_optimized_load False 2023-06-12_18-49

Jun 12 '23 10:06 klykq111

你好，这个应该是delta 模型，请先和主模型合并，谢谢！

Hi, this may be a delta model. Please merge it first.

Jun 13 '23 16:06 shizhediao

我使用llama-7b-hf与Robin-7b-v2合并之后，模型输出不乱码了，但是在接着我的续写，自问自答，这是怎么回事：

Jun 14 '23 07:06 klykq111

可能是prompt structure的问题，可以检查一下运行的指令

It may be a problem with the prompt structure. You can check the command you are running to verify it

Jun 19 '23 10:06 shizhediao

@shizhediao 请问怎么合并模型？是用fastchat的apply_delta吗？我使用0.2.17版本的fastchat合并hugging face上的llama-7b模型和lmflow中提供的7B的delta模型后，输出还是有问题

下面是我用的指令

python3 -m fastchat.model.apply_delta \
    --base llama-7b-hf \
    --delta lmflow/robin-7b-v2-delta \
    --target lmflow/target_weight

Jul 04 '23 01:07 2033329616

我记得没错的话，我是用的LMFlow提供的代码合并的模型。

python utils/apply_delta.py \
    --base-model-path {huggingface-model-name-or-path-to-base-model} \
    --delta-path {path-to-delta-model} \
    --target-model-path {path-to-merged-model}

Jul 04 '23 10:07 klykq111

我记得没错的话，我是用的LMFlow提供的代码合并的模型。

python utils/apply_delta.py \
    --base-model-path {huggingface-model-name-or-path-to-base-model} \
    --delta-path {path-to-delta-model} \
    --target-model-path {path-to-merged-model}

请参考这个，谢谢

Please refer to this, thanks!

Jul 04 '23 23:07 shizhediao

可以了，谢谢

Jul 05 '23 02:07 2033329616