cywjava
cywjava
https://github.com/chenyiwan/chatglm-6b-fine-tuning 看这里
> 遗忘，多半是你的优化器和学习率的问题
我觉得是优化器和学习率的问题。
> 我也遇到了同样的报错： Expected all tensors to be on the same device, but found at least two devices... > ## 训练采用2张、四张都可以。 我已经解决了，图，是使用GPU0 和 1 训练， 7做生成文本。  使用4卡训练，也没有问题  直达===> https://github.com/chenyiwan/chatglm-6b-fine-tuning
> > @xiaoweiweixiao 微调不行，你在一张卡上微调完，在部署到多卡。或者你自己写训练代码，中间把对Tensor操作时都放到同一device再操作 > > 哦哦，原来这只能用在部署上呀，”中间把对Tensor操作时都放到同一device再操作“这个能降低对单卡显存的要求吗？大佬考不考虑出个分布式训练的代码呀 O.O 不是的，训练也可以多卡的啊
你不要执行model.eval()
i have error is: torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 288.00 MiB (GPU 0; 23.70 GiB total capacity; 7.89 GiB already allocated; 39.19 MiB free; 7.89 GiB reserved...
同问pkl 格式是啥样的？
语料 一行一句话，最后一行后面不能换行。 再转换成pkl ，就好了。