ChatGLM-6B
ChatGLM-6B copied to clipboard
THUDM
训练数据labels打印出来全是-100
Is there an existing issue for this?
- [X] I have searched the existing issues
Current Behavior
执行 bash train.sh 打印labels全是-100，训练完成之后调用模型，输出的全是空
Expected Behavior
No response
Steps To Reproduce
1.训练数据 参考的示例 2.模型训练成功，训练完成也能调用。查看日志发现打印的labels全是-100，调用pt模型，输出为空
Environment
- OS:centos7
- Python:3.9
- Transformers:4.27.1
- PyTorch:1.13
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :11.8
Anything else?
No response
-100 是表示这个位置的 token 不需要计算 loss。你确定全部都是 -100 吗？可以发一下截图
看着像是代码有问题，输入输出全部放入inputs了
模型实现太旧了。如果你是从 THUDM/chatglm-6b 加载的话可以清除一下 ~/.cache/huggingface/modules/transformers_modules