Sayo

Need it too.

很迷，我一般会在开头问一句 “白日依山尽”的下一句是什么？ 回答是中文的话之后就都是中文了。

修改成49954会报一样错

text generation提供了功能可以分别加载model与lora。用原版hf的llama配合Chinese-alpaca-lora是没有问题的，但是加载本项目的lora就会报上述错误。如果能够解决的话，就可以省去将lora和原模型融合这一步了。 我试过用原版的llama转成hf格式，vocab_size都是32000。

> 从报错信息看模型的checkpoint的大小是正确的（49954），但初始化的模型embedding是32000，所以 加载不进去，问题应该只在config.json上。 能显示一下修改vocab_size后的Chinese-LLaMA-Alpaca/merged_models/chinese_alpaca_merged_7b-hf/config.json的内容吗 我使用text-generation-webui报错如下： ` raise RuntimeError('Error(s) in loading state_dict for {}:\n\t{}'.format( RuntimeError: Error(s) in loading state_dict for PeftModelForCausalLM: size mismatch for base_model.model.model.embed_tokens.weight: copying a param with shape torch.Size([49954,...

Is there any progress now? I need to access the machine remotely, so I can't get the lora model list even if I get the folder path.

@parthvnp Hey~ how about the project update?

@s65b40 您好，请问“围绕中文医学文献的多轮对话数据集”开放了吗~

好耶

> Hey, sorry for not getting to this sooner! > > The reason Mistral doesn't work with the frankenllama_22 script is that it uses GQA, which breaks some assumptions I...