mindnlp
mindnlp copied to clipboard
Easy-to-use and high-performance NLP and LLM framework based on MindSpore, compatible with models and datasets of 🤗Huggingface.
**Describe the bug/ 问题描述 (Mandatory / 必填)** 在加载tokenizer时报错——KeyError - **Hardware Environment(`Ascend`/`GPU`/`CPU`) / 硬件环境**: GPU - **Software Environment / 软件环境 (Mandatory / 必填)**: -- MindSpore version (2.2.14) : -- Python version...
同时,codallama-7b-instruct在A800上存在相同的问题,即训练时爆显存 - **Hardware Environment(`Ascend`/`GPU`/`CPU`) / 硬件环境**: > /device ascend 910A - **Software Environment / 软件环境 (Mandatory / 必填)**: -- MindSpore version (e.g., 1.7.0.Bxxx) : 2.3.0 -- Python version (e.g., Python...
**Is your feature request related to a problem? Please describe.** When I merge `DNA_LM` peft fine-tuning scripts from `hugging-face` to `mindnlp`. The parameters of `forward` function in `mindnlp.core.nn.Module` must match...
**Describe the bug/ 问题描述 (Mandatory / 必填)** GPU环境 TrOCR预训练模型微调 求梯度时报错 RuntimeError: The pointer[tensor] is null. - **Hardware Environment(`Ascend`/`GPU`/`CPU`) / 硬件环境**: > Modelarts CPU 8核32G >GPU Tnt004 16G - **Software Environment...
**Describe the bug/ 问题描述 (Mandatory / 必填)** mindnlp.engine.Trainer训练报错 传入数据shape如下图  - **Hardware Environment(`Ascend`/`GPU`/`CPU`) / 硬件环境**: > Please delete the backend not involved / 请删除不涉及的后端: > /device GPU - **Software Environment...
### 第一个自定义数据集上微调GIT模型进行图像描述的笔记本中,我将在一个小型图像描述数据集上微调 **这是在Mindspore的训练过程图,50个epoch后loss稳定在0.06左右**  **这是在pytorch的训练过程图,50个epoch后loss稳定在0.09左右**  **下面是mindspore的推理图,可以看到推理结果与预期一致**  **下面是pytorch的推理图,可以看到准确度相较于mindspore差一点**  ### 第二个使用 GIT 进行图像/视频描述生成和图像/视频问答的笔记本中,演示了如何使用MindSpore的 GIT 模型来对图像或视频进行描述生成,以及在图像或视频上进行问答。 **选择其中一个推理模型进行比较:** **mindspore:**  **pytorch:**  **结果一致**
**Describe the bug/ 问题描述 (Mandatory / 必填)** A clear and concise description of what the bug is. mindnlp0.4版本不支持保存和加载PeftModel的adapter weights为safetensors,仅能保存为ckpt,这个导致在训练过程中通过`save_pretrained`保存下来的adapter weights,在香橙派上通过`PeftModel.from_pretrained`进行加载时报错(`_parse_ckpt_proto`无法识别tensor_type,必须为Float16,然后香橙派上保存下来的tensor_dtype为mindspore.float16) - **Hardware Environment(`Ascend`/`GPU`/`CPU`) / 硬件环境**: > Please delete the backend...
weiran-HomeWork-L6-MigrateModels-mimi
migrate mimi, learn from others‘ code