intervl 微调后lora合并推理和直接用原来demo推理结果不一致

[fujianhai]

1. internlvl2.0 swift微调后，然后采用lora merged ， swift python 推理代码结果正常。

2. 用原来推理demo, 推理，结果对不上，代码如下：

model = AutoModel.from_pretrained(
    path,
    torch_dtype=torch.bfloat16,
    load_in_8bit=True,
    low_cpu_mem_usage=True,
    trust_remote_code=True,
    device_map=device_map).eval()
    
generation_config = dict(
    num_beams=1,
    max_new_tokens=2048,
    do_sample=True,
)

[cyj95]

do_sample=False 不然有随机性

[fujianhai]

do_sample=False 不然有随机性 修改过了，但是还是不一致

[leedewdew]

同上，测试lora权重得到的结果，只有一半字符，但是用merged lora后的权重测试，结果是对的。 比如答案是中国，前者只输出一个中就没了，后者输出中国。

[Jintao-Huang]

是不是max_new_tokens的设置问题

[leedewdew]

是不是max_new_tokens的设置问题

应该不是，因为输出tokens很短，只有10个字符以内。

[Jintao-Huang]

设置一下model.generation_config.max_new_tokens=2048 试试