ChatGLM-Tuning

ChatGLM-Tuning copied to clipboard

有没有在代码上解除chatglm限制的办法

8

YIZXIY

关于保存的adapter_model.bin无实际推理效果的问题

2

我之前在跑另外一个仓库代码的时候，就遇到了保存的adapter_model.bin合并backbone后对推理无任何影响的问题，总觉得是保存有问题。 然后在本仓库发现作者的save_model重写代码是一样的， 问题区有很多朋友遇到了和我一样的问题。 用这种重写的save model也不会有config文件的生成。 https://github.com/mymusise/ChatGLM-Tuning/issues/250 https://github.com/mymusise/ChatGLM-Tuning/issues/212 https://github.com/mymusise/ChatGLM-Tuning/issues/243 https://github.com/mymusise/ChatGLM-Tuning/issues/223 https://github.com/mymusise/ChatGLM-Tuning/issues/208 `self.model.save_pretrained(output_dir)` 最终只需要用这个接口代替即可解决。 但是我还是不太能理解为什么这个问题会对部分情况存在， 我的transformers版本是4.28.1， peft是0.3.0。 希望能够帮助其他同学避坑，也希望有同学可以帮我解答一下。

ssgg-code

## 软件环境如下所示： ```shell absl-py==2.1.0 accelerate==0.17.1 aiohttp==3.9.3 aiosignal==1.3.1 async-timeout==4.0.3 attrs==23.2.0 bitsandbytes==0.37.1 certifi==2024.2.2 charset-normalizer==3.3.2 cpm-kernels==1.0.11 datasets==2.18.0 dill==0.3.6 filelock==3.13.1 frozenlist==1.4.1 fsspec==2024.2.0 grpcio==1.62.0 huggingface-hub==0.21.3 icetk==0.0.4 idna==3.6 importlib-metadata==7.0.1 Jinja2==3.1.3 Markdown==3.5.2 MarkupSafe==2.1.5 mpmath==1.3.0 multidict==6.0.5 multiprocess==0.70.14 networkx==3.2.1...

jnulzl

根据infer的代码，lora微调之后的answer和###answer结果一致，没有任何变化

2

作者说一个是微调之后的答案，一个是微调之前的答案。但是我的两个答案（除了标点）都一样，请问是什么问题？ Instruction: 小儿肥胖超重该如何治疗? Answer: 孩子出现肥胖症的情况。家长要通过孩子运功和健康的饮食来缓解他的症状,可以先让他做一些有氧运动,比如慢跑,爬坡,游泳等,并且饮食上孩子多吃黄瓜,胡萝卜,菠菜等,禁止孩子吃一些油炸食品和干果类食物,这些都是干热量高脂肪的食物,而且不要让孩子总是吃完就躺在床上不动,家长在治疗小儿肥胖期间如果孩子情况严重就要及时去医院在医生的指导下给孩子治疗。 ### 1.Answer: 孩子出现肥胖症的情况。家长要通过孩子运功和健康的饮食来缓解他的症状，可以先让他做一些有氧运动，比如慢跑，爬坡，游泳等，并且饮食上孩子多吃黄瓜，胡萝卜，菠菜等，禁止孩子吃一些油炸食品和干果类食物，这些都是干热量高脂肪的食物，而且不要让孩子总是吃完就躺在床上不动，家长在治疗小儿肥胖期间如果孩子情况严重就要及时去医院在医生的指导下给孩子治疗。

22zhangqian

完全学习不到数据集的内容

4

RT，我设置了lora_rank=32 max_steps=80000 一共40条QA数据 最后输出如下： 输入问题：XX大学XX校区的篮球场在哪？ 训练回答：XX大学XX校区的篮球场位于足球场的南侧，第二饭堂正门的正前方的斜下侧 输出回答：XX大学XX校区的篮球场位于校园的东南部,具体地址是南海大道38号,可乘坐公交车或步行前往。 输入问题：XX大学在哪 训练回答：XX大学在广东省有三个校区分别是佛山,南海,清远 输出回答：XX大学位于广东省广州市天河区五山路 这种情况是什么原因导致的，求指教

starhui70520

在colab上运行finetune.ipynb的时候会报一个huggingface登录的错误，有人遇到同样的错误吗？

1

Downloading and preparing dataset generator/default to /root/.cache/huggingface/datasets/generator/default-2eec05f7b1485a75/0.0.0... Generating train split: 0 examples [00:00, ? examples/s]Traceback (most recent call last): File "/usr/local/lib/python3.10/dist-packages/huggingface_hub/utils/_errors.py", line 286, in hf_raise_for_status response.raise_for_status() File "/usr/local/lib/python3.10/dist-packages/requests/models.py", line 1021,...

lee376

{'loss': 1.141, 'learning_rate': 8.366666666666668e-05, 'epoch': 50.0} {'loss': 0.0003, 'learning_rate': 6.7e-05, 'epoch': 100.0} {'loss': 0.0001, 'learning_rate': 5.0333333333333335e-05, 'epoch': 150.0} {'loss': 0.0001, 'learning_rate': 3.366666666666667e-05, 'epoch': 200.0} {'loss': 0.0001, 'learning_rate': 1.7000000000000003e-05, 'epoch': 250.0}...

juiceSea

xhrt

按照步骤生成了jsonl文件 然后运行一下代码 ``` python tokenize_dataset_rows.py ^ --jsonl_path data/alpaca_data.jsonl ^ --save_path data/alpaca ^ --max_seq_length 200 ``` 报错 ``` E:\ChatGLM\ChatGLM3\ChatGLM-LoRA>python tokenize_dataset_rows.py ^ More? --jsonl_path data/alpaca_data.jsonl ^ More? --save_path data/alpaca ^ More? --max_seq_length...

ShanJianSoda

AttributeError: 'ChatGLMModel' object has no attribute 'lm_head'

3

File "/app/ydm/myenv/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1614, in __getattr__ raise AttributeError("'{}' object has no attribute '{}'".format( AttributeError: 'ChatGLMModel' object has no attribute 'lm_head'

Daoming009