zxdpro issues

Results 4 issues of


                                            zxdpro

求助：使用自己的训练集和测试集，模型微调完之后过拟合了，

你好我咨询个问题：微调完之后过拟合了，这是什么原因，我的测试集和训练集分开的呀 validation loss at iteration 300 loss: 0.000000E+00 PPL: 1.000000E+00 rouge-1 1.266846E+01 rouge-2 7.555687E-01 rouge-l 7.924356E+00 bleu-4 1.459862E+00

由于VisualGLM-6B模型微调过程中，调用的时chatgl2-6b,为了提高模型输出文本的质量，我替换了chatglm2-6b使用chatglm4-9b-chat作为对话模型，但由于两者在一些库版本上不同，导致在微调训练过程中出错，有没有好的方法？，

File "/root/autodl-tmp/model/XrayGLM/VisualGLM-6B-main/finetune_visualglm.py", line 9, in <module> from sat.model.finetune.lora2 import LoraMixin ModuleNotFound为什么地址都改了，还是出现这种错误 Error: No module named 'sat.model.finetune.lora2' [2024-12-25 00:31:28,139] [INFO] [launch.py:319:sigkill_handler] Killing subprocess 1338

为什么我的地址都改了，还会出现这样的错误：Traceback (most recent call last): File "/root/autodl-tmp/model/XrayGLM/VisualGLM-6B-main/finetune_visualglm.py", line 9, in <module> from sat.model.finetune.lora2 import LoraMixin ModuleNotFoundError: No module named 'sat.model.finetune.lora2' [2024-12-25 00:31:28,139] [INFO] [launch.py:319:sigkill_handler] Killing subprocess 1338

import os import torch import argparse from sat import mpu, get_args, get_tokenizer from sat.training.deepspeed_training import training_main from model import VisualGLMModel from sat.model.finetune import PTuningV2Mixin from sat.model.finetune.lora2 import LoraMixin class FineTuneVisualGLMModel(VisualGLMModel):...