MagicSource

```python model.print_trainable_parameters() print(f"peft config of model: {model.peft_config}") logger.info(f"model.modules_to_save: {model.modules_to_save}") old_state_dict = model.state_dict # model.state_dict = ( # lambda self, *_, **__: get_peft_model_state_dict(self, old_state_dict()) # ).__get__(model, type(model)) if torch.__version__ >= "2"...

``` ❱ 113 assert train_tokenizer.eos_token_id == 2, "Tokenizer eos is wrong!!!" │ │ 114 # unk. we want this to be different from the eos token │ │ 115 train_tokenizer.pad_token_id...

貌似新的transformers已经不兼容depera那个tokenizer model了。 我看finetune.py 没有这个assertion， finetune_chat里面有： ``` assert train_tokenizer.eos_token_id == 2, "Tokenizer eos is wrong!!!" ``` 是不是意味着finentune训的已经崩了？ 因为deppera那个tokenizer返回的eos已经是空了

@Facico chat 根本无法训练： │ 245 │ │ user_prompt += self.prompt_post.format_map( │ │ ❱ 246 │ │ │ {"input": data_point["input"][-1].strip()} │ │ 247 │ │ ) │ │ 248 │ │...

@Facico 非常感谢，已经解决了。 另外想请教一下这个版本训练的chat finetune多轮对话能力如何，相较于BiLLa和PandaLM或者是Chinese-Llama？

我也比较好奇，在数据中，input 中的继续，在回答中却没有对应的，这种如何用来训练啊

 现在tiao调的baichuan还可以

@LZY-the-boys 是 peft 没有对齐，还是dpeespeed没有对齐，我目前用的的确是 0.3.0，但是按照理论上来讲，最起码transformers保存的全中，peft升级了也得能加载，我是自己训的，不是老版本保存的lora

@shariqfarooq123 thanks, hoping for it! more light-weighted model would be much more useful.

Hi, For users who using latest alfred code, if you occured similar issue, then please remove all `from alfred.dl import xx` code and replace it with torch itself. The reason...