关于训练的一些问题
作者您好,我对模型训练后再进行测试的结果与您论文中所得到的结果相差较大,由于显存的限制,我把两个阶段中的max_txt_len和image_size都改小了,iters_per_epoch给的值是5000,经过两轮训练之后四个评估指标都只有79左右,与论文中的90.36还存在一定的差距,因此有几个问题想请教一下您: 1、是否是因为我改动了这些参数从而对最终的结果造成了很大的影响? 2、如果要在4张24G的显卡上跑训练的话这些参数设置为什么值才能成功复现您论文中的结果? 3、您论文中MER2024-OV的实验结果是直接用的经过MER2023-SEMI数据集微调后的模型吗?还是说您是重新使用了MER2024-OV对模型进行微调,然后再进行测试的吗? 以下文件是我测试的结果和第一阶段第二阶段的log文件
抱歉,前段时间我在忙没有及时回复。
1.我查看了你的日志文件log.txt, 你将"image_size"修改为224,我认为这个对模型的性能影响较大; 2.我们没有测试过在24GB上训练模型的经验,要想从头训练,难道较大; 3.MER2024-OV的实验结果是直接用的经过MER2023-SEMI数据集微调后的模型(yes)。我们直接使用Emotion-LLaMA对MER2024-OV的模型进行zore-shot情绪推理,然后从推理的结果中抽取情绪关键词。对于MER2024-OV我们没有做针对性的微调。
有问题可以发邮件联系我,我可以指导一下。我也想知道在24GB上能否完全复现。
感谢作者那么忙还抽出时间回复我,我后续又尝试了在24g上对模型进行训练,按您之前所设定的参数是无法跑动的,我是将max_txt_len调成了256,image_size调成了224才勉强训动,最终的实验结果在88左右,和您论文中的数据差了2个点,我想这大概率是因为我把图片改小了从而影响了性能,如果按您在论文中所提到的硬件设备来训的话要达到论文中的数据应该是没问题的。
以下图片是我所记录的复现结果,第一行是您论文中的数据,第二行是我用您训好的checkpoint跑的,第三行是我在4张24GB的显卡上训的模型跑的结果
感谢作者那么忙还抽出时间回复我,我后续又尝试了在24g上对模型进行训练,按您之前所设定的参数是无法跑动的,我是将max_txt_len调成了256,image_size调成了224才勉强训动,最终的实验结果在88左右,和您论文中的数据差了2个点,我想这大概率是因为我把图片改小了从而影响了性能,如果按您在论文中所提到的硬件设备来训的话要达到论文中的数据应该是没问题的。
以下图片是我所记录的复现结果,第一行是您论文中的数据,第二行是我用您训好的checkpoint跑的,第三行是我在4张24GB的显卡上训的模型跑的结果
您好,请问您方便分享这个最终结果的log.txt和log_stage2.txt吗,我也是24g显存想复现实验结果
感谢作者那么忙还抽出时间回复我,我后续又尝试了在24g上对模型进行训练,按您之前所设定的参数是无法跑动的,我是将max_txt_len调成了256,image_size调成了224才勉强训动,最终的实验结果在88左右,和您论文中的数据差了2个点,我想这大概率是因为我把图片改小了从而影响了性能,如果按您在论文中所提到的硬件设备来训的话要达到论文中的数据应该是没问题的。 以下图片是我所记录的复现结果,第一行是您论文中的数据,第二行是我用您训好的checkpoint跑的,第三行是我在4张24GB的显卡上训的模型跑的结果
您好,请问您方便分享这个最终结果的log.txt和log_stage2.txt吗,我也是24g显存想复现实验结果
您好,下面是我的文件,我是选了第一阶段表现最好的checkpoint再进行第二阶段的训练的
您好,下面是我的文件,我是选了第一阶段表现最好的checkpoint再进行第二阶段的训练的
十分感谢您的分享,我有两个疑问想请教: 1.您在第一阶段训练后在测试集上的表现如何,我第一阶段的结果如下
2."accum_grad_iters": 2,这一部分需要更改代码吗,还是仅需在yaml文件中增加
您好,下面是我的文件,我是选了第一阶段表现最好的checkpoint再进行第二阶段的训练的 log_stage1.txt log_stage2.txt
十分感谢您的分享,我有两个疑问想请教: 1.您在第一阶段训练后在测试集上的表现如何,我第一阶段的结果如下
2."accum_grad_iters": 2,这一部分需要更改代码吗,还是仅需在yaml文件中增加
你好,我的测试结果和你差不多,然后我的第二阶段F1 score也只有0.7左右,请问你解决了吗