ssbuild

lora 需要加载半精度权重， 你的权重下载错了，从官网下载权重试试。

推理可以， 训练的话半精度从 https://huggingface.co/THUDM/chatglm-6b 下载， 重新配置制作数据 训练应该就可以。

> > 推理可以， 训练的话半精度从 https://huggingface.co/THUDM/chatglm-6b 下载， 重新配置制作数据 训练应该就可以。 > > 大佬是bin模型也得用6b的吗，那我就没法跑了，容量危机了  int4 可以玩 ptv2 , 修改config/config_ptv2.json quantization_bit=4 ， 并在train_info_args 改成 config/config_ptv2.json

> > _ptv2 > > 难绷  [  ](https://user-images.githubusercontent.com/40910637/236614455-50ccd142-300b-477f-8271-bf959924a39b.gif) [ ](https://user-images.githubusercontent.com/40910637/236614455-50ccd142-300b-477f-8271-bf959924a39b.gif) > > ``` > ╭─────────────────────────────── Traceback (most recent call last) ────────────────────────────────╮ > │ /root/autodl-tmp/chatglm_finetuning/train.py:133 in │...

@Ikaros-521 infer_lora_finetuning.py 是 lora ptv2 推理 使用infer_finetuning.py

感谢反馈，已更正。

try: pip install -i https://pypi.org/simple deep_training

tfrecords support only linux or windows , if macos , may instal failed.

install newer version

@Amber-Men update you training code, install by requirement