InstructGLM

InstructGLM copied to clipboard

When running 'train_deepspeed.py' using your provided command, I noticed that the trainable parameter number is consistently zero. So, I performed a thorough code analysis and pinpointed the root cause of...

zjhJOJO

使用lora训练，使用web_demo加载lora权重后，结果跟原生chatglm结果一样，lora权重没生效，这个是什么原因呢

1

加载时提示 [Warn] Passed [Warn] Passed [Warn] Passed 不知道有没有影响

AnddyWang

请问下train_deepspeed.py 怎么引入lora.pt

1

AlexXx-Wu

ValueError: ChatGLMForConditionalGeneration does not support gradient checkpointing.

7

训练的时候提示如下错误： ``` (venv) [xinjingjing@dev-gpu-node-09 InstructGLM]$ python train_lora.py \ > --dataset_path data/belle \ > --lora_rank 8 \ > --per_device_train_batch_size 2 \ > --gradient_accumulation_steps 1 \ > --max_steps 52000 \ > --save_steps...

deepeye

调教后的逻辑能力如何？

1

太糟糕的话，感觉就有点不太行了。

daiaji

按照前序预处理成json格式后，运行tokenizer_dataset_row.py报错： dataset=datasets.Dataset.from_generator(..) ... file"/usr/local/python3.8.3/lib/python3.8/lib/python3.8/site-packages/datasets/builder.py", line 1644, in _prepare_split_single datasets.builder.datasetgeneraationerror: an error occurred wile generating the dataset.

cat1222

例如数据集里的问题 提供一个包含两个城市名称的列表，然后为这两个城市之间的距离提供一个近似值。 1. 北京 2. 上海 但回答的结果是一个计算步骤，不是数据集里的值

czhcc

train_lora最低需要多大显存GPU可以训练？除了batch size 还有别的参数可以降低显存使用吗？

2

twosnowman

训练python train_lora.py的时候显示 ModuleNotFoundError: No module named 'configuration_chatglm'

3

dragononly

`ValueError: 130000 is not in list` ice_text.model tokenization_chatglm.py tokenizer_config.py 均为4/24下载的最新版本

BIGPPWONG