何枝

Fine-Tuning模型应该是被正确加载了的：  您方便给个如流号吗，我通过如流联系您。

我在 [这里](https://github.com/HarderThenHarder/transformers_tasks/tree/main/LLM/finetune) 基于 accelerate 加入了多卡训练的功能，需要的话可以看一看 :)

Hi，因为距离这个代码写的有点久了，所以我按照我的记忆回答一下您这个问题。 我理解您的问题可能是：我们只是把 unused token 喂给了模型， 而 label 却只有每个句子的 label token，也没有这些 unused token 的 label，那这些 prompt tokens 怎么学习？ 在这个例子里，由于我们只需要学习每一个 prompt (unused) token 对应的 token embedding 就可以了（因为最后不需要知道这些 prompt tokens 的实际对应的文本是什么），因此我们只用通过在更新 MASK Label...

这里需要填写您个人训练好的模型存储地址，如果您没有训练模型，则使用 ChatGLM 的原始 backbone 即可（修改为：`THUDM/chatglm-6b`）

Hi，您可以在 [这一行后面](https://github.com/HarderThenHarder/transformers_tasks/blob/c56bcc4a19d960cb9481ff13d796fad3c303d749/UIE/train.py#L250) 通过加入下面一行简单的命令来实现多卡训练： ```python ... model.to(args.device) [+] model = torch.nn.DataParallel(model, device_ids=[0, 1, 2]) # 需要用的显卡索引 tokenizer = AutoTokenizer.from_pretrained(args.pretrained_model) ... ```

Hi，您可以尝试减小 [这里](https://github.com/HarderThenHarder/transformers_tasks/blob/c56bcc4a19d960cb9481ff13d796fad3c303d749/LLM/finetune/train.sh#L12) 的 `max_source_seq_len` 和 `max_target_seq_len` 的长度。

这取决于您的 `max_soruce_length` 和 `max_target_length` 的设置。 在我的实验中，整个训练句子（source + target）加起来 800 个 token 下需要大约 31 G 左右的显存（V100）。

Hi，您尝试下将 [这行](https://github.com/HarderThenHarder/transformers_tasks/blob/c56bcc4a19d960cb9481ff13d796fad3c303d749/LLM/finetune/playground_local.py#L115) 代码进行以下修改： ```python out = model.generate(...) -> out = st.session_state['model'].generate(...) ```

这有可能受到调参的影响，我没有使用额外的数据进行训练。 如果需要，您也可以在 [这里](https://www.luge.ai/#/) 找到更多数据进行微调。

Hi，确认一下跑单卡 `train.py` 的时候会不会出现这个问题。 1. 如果单卡仍出现问题：我使用的transformers版本是 4.27.1，您尝试安装一下对应版本后试试。 2. 如果安装对应版本后还是存在问题：可以提供一下 terminal 的截图供我参考一下吗？