InventoryL

hi, have u solved this problem? i've use the command chmod, but it doesnt work

have you solved this issue?Could anyone help us? Thanks a lot.

> > 您好，下面是我的文件，我是选了第一阶段表现最好的checkpoint再进行第二阶段的训练的 > > [log_stage1.txt](https://github.com/user-attachments/files/19515002/log_stage1.txt) [log_stage2.txt](https://github.com/user-attachments/files/19515003/log_stage2.txt) > > 十分感谢您的分享，我有两个疑问想请教： 1.您在第一阶段训练后在测试集上的表现如何，我第一阶段的结果如下 > >  2."accum_grad_iters": 2，这一部分需要更改代码吗，还是仅需在yaml文件中增加 你好，我的测试结果和你差不多，然后我的第二阶段F1 score也只有0.7左右，请问你解决了吗

[log_stage1.txt](https://github.com/user-attachments/files/19600569/log_stage1.txt) [log_stage2.txt](https://github.com/user-attachments/files/19600571/log_stage2.txt) 我们的测试训练log文档如上所示。此外，我们在测试时设置的task_pool为`self.task_pool = [ "emotion", # "reason", # "reason_v2", ]` 测试文件为relative_test3_NCEV.txt。请问是否在我们的训练过程中出现了一些错误？

我注意到，使用您给的Emotion-Llma.pth进行测试，测试结果为 > Accuracy: 0.8129496402877698 > Precision: 0.8163218300808229 > Recall: 0.8129496402877698 > F1 Score: 0.8098997191529657 > [[153 5 8 12 1 4] > [ 0 144 11 7 2 5] >...

> readme上关于1,2阶段的训练流程是为了多模态情绪推理这个任务效果而设计，按照这个教程使用MERR_coarse_grained在第一阶段训练模型，情绪识别效果一般，因为MERR_coarse_grained没有Neutral这个分类，导致Neutral这个分类的预测结果全是错误的。 > > 在你的stage1的模型测试结果的混淆矩阵中的第三行`[ 67 29 0 42 1 27]`应该对应的就是Neutral分类的结果： > > ``` > [[181 1 0 1 0 0] > [ 5 154 0 7 1 2] >...

非常感谢您耐心的回答。我还想请问一下以下几个问题 1.感觉您倒数第二段“只训练了train set数据”和最后一段“Table 6的Instruction Tuning是用MERR_fine_grained的数据继续进行emotion的单独训练”有点矛盾。前者的意思应该是Table 6中的实验只进行了stage 1的训练吧。 2.Table 3中的MERR_fine_grained阶段使用的task_pool应该是什么？我观察到MERR_fine_grained中['text']才是台词，而使用Instruction Tuning.md中的方法使用reason_v2的task_pool进行单独训练，使用的数据是[‘smp_reason_caption’]。这应该是视频的描述而非“保留文本模态的台词”。我想明确一下您进行Instruction Tuning时的task_pool，以使得我能够更好地复现您的结果。 非常感谢您的耐心回答。

> table 8 Pseudo-Label Training的结果就是使用MER2023_pseudo_label训练的结果。 table 3 中的Emotion-LLaMA A, V 0.8905 是去除了视频的文本模态的字幕的结果，这样做的目的是为对比MER2023-Baseline和VAT模型。因为MER2023-Baseline和VAT实验结果显示对于多模态特征融合只使用了A，V两个模态的分数要高于A，V，T三个模态的分数，所以它们把文本模态丢弃。我们发现对于大模型来说，保留文本模态的台词，会提升多模态大模型的情绪识别分数。我们在测试时用的是MER2023_pseudo_label训第一阶段，MERR_fine_grained训练第二阶段。 Table 6是为了消融实验来验证不同Encoder的组合效果，为了节约时间，每一行的数据都是在train set上训练的，所以导致最终的效果不如table 3中的实验结果。 总结，table 3 是通过双阶段训练，得到的最佳模型。Table 6是为了做消融实验，只训练了train set数据。 > > 对于MER2023数据集的Instruction Tuning阶段，Table 8的Instruction Tuning是用MERR_fine_grained的数据继续进行emotion的单独训练，目的是为了继续提升情绪识别的分数。 您好，非常感谢您的耐心回答，我在第一阶段取得了 > Accuracy:...

> Error: sadness Target: sad > Accuracy: 0.8920863309352518 > Precision: 0.8929344648226645 > Recall: 0.8920863309352518 > F1 Score: 0.890874777665671 > [[174 1 2 3 0 3] > [ 1 149 11...

> 1.不好意思，打错了，已经修改源回答了。 2Table 3中的MERR_fine_grained阶段使用的task_pool是“emotion”。我们没有使用MERR_fine_grained中的键值['text']加载台词，而是使用`transcription_en_all.csv`来加载文本模态的台词： > > [Emotion-LLaMA/minigpt4/datasets/datasets/first_face.py](https://github.com/ZebangCheng/Emotion-LLaMA/blob/35b09357075cd5ee4c804d686680288ff23f55db/minigpt4/datasets/datasets/first_face.py#L92) > > Line 92 in [35b0935](/ZebangCheng/Emotion-LLaMA/commit/35b09357075cd5ee4c804d686680288ff23f55db) > > self.character_lines = pd.read_csv('/home/user/selected_face/face_emotion/transcription_en_all.csv') > 每个样本获取对应的台词(sentence)的代码如下： > > [Emotion-LLaMA/minigpt4/datasets/datasets/first_face.py](https://github.com/ZebangCheng/Emotion-LLaMA/blob/35b09357075cd5ee4c804d686680288ff23f55db/minigpt4/datasets/datasets/first_face.py#L151-L155) > > Lines 151 to 155 in...