ChatGLM-Finetuning issues

Results 67 ChatGLM-Finetuning issues

Sort by recently updated

ptuning 和 ptuningV2

当prefix_projection为True时，为P-Tuning-V2方法，在大模型的Embedding和每一层前都加上新的参数；为False时，为P-Tuning方法，仅在大模型的Embedding上新的参数。这句话不对吧？这个参数prefix_projection并不是控制是ptuning还是ptuning v2的吧？ @liucongg @ZhishanQ

cxj01

请问两张3090可以用您给出的三种方法进行部分参数微调吗？

199843

带画像的对话数据集

您好，数据集是对话，还有说话者的画像信息，比如人物背景什么的，怎么把这些信息和对话内容整合，也就是怎么构造Input和Label，达到个性化对话的目的呢

lijing0224

我尝试利用QA对能够成功进行训练，但是如果是长文本的话应该怎么训练呢，还有这个模型如何进行增量训练大家谁知道吗

pc123s

灾难性遗忘现象

请问是只有freeze模型没出现灾难性遗忘现象还是，ptuning和lora都没有出现？为什么我用官方的微调代码训练广告生成的数据，再用来测试常识性问题，回答结果都是错的并和广告内容有关

N-Kingsley

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0; 44.99 GiB total capacity; 6.15 GiB already allocated; 37.32 GiB free; 6.15 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF (bab) root@DESKTOP-D1BLEUL:/mnt/c/Users/oo/chat/ChatGLM-Finetuning# nano finetuning_freeze.py

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0; 44.99 GiB total capacity; 6.15 GiB already allocated; 37.32 GiB free; 6.15 GiB reserved in total by PyTorch)...

dragononly