chatglm_finetuning
chatglm_finetuning copied to clipboard
ssbuild
chatglm 6b finetuning and alpaca finetuning
计算资源为A100 40G LoRA微调设置batch_size=1，max_seq_length=1024勉强能跑（每张卡占用显存40G） ptv2将batch_size和max_seq_length设置得再小都会出现OOM （例如batch_size=1, max_seq_length=16） 辛苦看下是否符合预期。
更换自己的数据后报错： ```INFO:lightning_fabric.utilities.rank_zero:`Trainer.fit` stopped: No training batches.``` 数据有什么要求吗，格式是完全对上的
这个如果是192G的话，其性价比，是否比8张4090要好，速度怎么样，8张4090太占地方了，如果Mac Studio可以的话还是想入手这个，毕竟不占地方，内存还行，就是担心微调速度太慢，有没有大佬过来给个建议，比较好几万的东西
PTV2将优化器设置为adam会报AttributeError: module 'torch.optim' has no attribute 'adam'的错误，adamw是好的。 Lora则没有该问题。
用chatglm-6b 运行train.py，显示： trainable params: 14680064 || all params: 3368640512 || trainable%: 0.4357860076700283 全部参数的数量不是6B，是什么原因? 微调完成后，运行 infer_lora_finetuning.py ，显示 trainable params: 6172532736 || all params: 6187212800 || trainable%: 99.7627354274933 全部参数的数量正确，但lora可训练参数 99%, 是什么原因？
最新的`dev`分支`6a42db4c1fdffee9ccc8f7d91775c5b4112738f6` 使用缺省的配置，lora，没有开quantization, 没有开deepspeed ``` # 模块配置， 默认启用lora enable_deepspeed = False enable_ptv2 = False enable_lora = True enable_int8 = False # qlora int8 enable_int4 = False # qlora int4 ``` ```...
你好作者，你的readme中给出了代码的输入数据： { "id": 0, "paragraph": [ { "q": "从南京到上海的路线", "a": "你好，南京到上海的路线如下：1. 南京到上海，可以乘坐南京地铁1号线，在南京站乘坐轨道交通1号线。2. 南京到浦东机场，可以搭乘上海地铁1号，在陆家嘴站乘坐地铁1线，在浦东国际机场站乘坐机场快线，前往上海浦东国际机场。3. 上海到南京，可以换乘上海地铁2号线，从南京站换乘地铁2线，再从南京南站换乘地铁1路，然后到达上海站" } ] } 这些alpaca数据经过转化得到的，而这个例子中是，只有instruction和output，那么对于有instruction，input，output的数据，应该怎么构造呢？
按args.md调了些参数都没用，无法启动quantization_bit 8/4 ,直接爆显存 args.md 中 ptuning v2 global_args = { "load_in_8bit": False, # lora 如果显卡支持int8 可以开启 ， 需安装依赖 pip install bitsandbytes "num_layers_freeze": -1, # 非lora,非p-tuning 模式 ，