ChatGLM-Tuning

ChatGLM-Tuning copied to clipboard

是否考虑多卡并行训练？

1

目前只能在一张卡训练。

paulcx

请问这个项目是Lora，还是原始结构的finetune?

3

lulia0228

我去掉了lora部分，在原始结构finetune，总报错ValueError: Attempting to unscale FP16 gradients.

15

我查了一下代码，是在这个地方 allow_fp16 无法被设置成true，设置了就能通过，我应该在什么地方配置，有大神指导吗？ │ /home/ubuntu/venv/lib/python3.8/site-packages/torch/cuda/amp/grad_scaler.py:285 in unscale_ │ │ │ │ 282 │ │ inv_scale = self._scale.double().reciprocal().float() │ │ 283 │ │ found_inf = torch.full((1,), 0.0, dtype=torch.float32, device=self._scale.device │ │...

bobo-wmdigit

多轮对话如何处理input和output数据呢？

5

目前这个是借助alpaca的方式来finetune，如果希望finetune到别的中文数据集，如中文对话数据集，应该处理的输入是什么样子的呢？

js0316

有没有可用于指令微调的中文数据集？

5

类似这样的 https://github.com/tatsu-lab/stanford_alpaca/blob/main/alpaca_data.json

carbonz0

无法正确生成 eos token

1

模型在训练结束后 Inference 无法正确生成 eos token，之前看有 issue 提过这个问题，但是关闭了

siriusctrl

用测试数据训练时bitsandbytes报的错，有大佬知道是什么回事吗

3

Welcome to bitsandbytes. For bug reports, please submit your error trace to: https://github.com/TimDettmers/bitsandbytes/issues ================================================================================ /opt/conda/lib/python3.10/site-packages/bitsandbytes/cuda_setup/main.py:136: UserWarning: WARNING: The following directories listed in your path were found to be non-existent: {PosixPath('/usr/local/nvidia/lib64'),...

Thzny

想问下这个训练后的效果好吗，我训练完后，效果比原本的模型差很多，根本就不是一个级别的

2

CarolineWinter88

环境配置问题

2

CUDA必须大于11.6吗？ 我的环境是CUDA11.2，微调的时候报错：ImportError: cannot import name 'skip_init' from 'torch.nn.utils' skip_init函数是不是只有在torch 2.0上才能用？ 哪位大佬帮忙给解答一下？十分感谢！！！

xiaoweiweixiao

bug: _IncompatibleKeys(missing_keys:.......................

3

感谢作者大佬的伟大工作。 我在infer时遇到个bug，不知道是我哪一步操作有问题，请大佬们指正。 我用 https://github.com/mymusise/ChatGLM-Tuning/blob/master/finetune.py 训出lora，在 https://github.com/mymusise/ChatGLM-Tuning/blob/master/infer.ipynb 加载lora文件，出现提示如下  不知道是lora训练的问题，还是infer加载的有问题？？ 训练代码如下： CUDA_VISIBLE_DEVICES=2 python finetune.py \ --dataset_path data/need_demo \ --lora_rank 8 \ --per_device_train_batch_size 4 \ --gradient_accumulation_steps 1 \ --max_steps 50000 \ --save_steps...

XuJianzhi