Wenqiang Li

> 在训练中 感谢！

> baichuan-7B的训练已经兼容了： https://github.com/shibing624/textgen/blob/main/examples/gpt/training_baichuan_mydata_demo.py 感谢作者！但我在运行的过程中遇到了bug: 应该是在算交叉熵的时候input和target的维度不一致了，为什么会出现这个错误呢？

> 代码更新了吗？ 出现这个错误的原因一般是collator后的input_ids 和 labels 维度不一致导致的 。 下载安装了最新的代码，还是会有这个问题；另外，在跑ChatGLM-6B的时候出现了一个问题： ``` /data/home/scv9197/.conda/envs/competition/lib/python3.9/site-packages/transformers/tokenization_utils_base.py:731: UserWarning: Creating a tensor from a list of numpy.ndarrays is extremely slow. Please consider converting the list to a single...

> A100 40G 跑过，bsz=1，maxlen=200。  请问SFT数据的格式是什么样的？没在官方说明里看到