ChatGLM-Finetuning

ChatGLM-Finetuning copied to clipboard

Tesla V100 32GB 运行finetuning_lora.py 报错：torch.cuda.OutOfMemoryError: CUDA out of memory

3

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 144.00 MiB (GPU 0; 31.75 GiB total capacity; 30.26 GiB already allocated; 68.69 MiB free; 30.33 GiB reserved in total by PyTorch)...

Test202010

如何训练长文本数据

1

RT，现在的模型会把超出最长限度的文本截断，但是这在做文本摘要的时候可能出现标签（输出）的部分内容事实上对应的是被截断的文本。请问如何解决这一问题，即保留完整文本进行训练？

HANiFLY

为什么 lora 和 PT 方法的效果不如 freeze微调后的呢

1

gyh123wqe

你好，后续能提供多轮对话的微调例子吗？

2

cristianohello

[2023-04-13 00:21:53,594] [INFO] [comm.py:639:init_distributed] Not using the DeepSpeed or dist launchers, attempting to detect MPI environment... 在这卡住好久， 请问您的MPI是哪个版本呀。mpi4py

yangliuIOC

[INFO] [comm.py:570:init_distributed] Not using the DeepSpeed or dist launchers, attempting to detect MPI environment...有人遇到这个问题吗

wuguangshuo

PT方法 之前使用官方的训练模型就乱了无法上下文对话，现在你的方法解决了这个问题吗

2

dragononly