Ziqi Yuan
Ziqi Yuan
hi, my co-worker and I finish this part of work **using subword-nmt lib** recently. We are looking forwards to your review & advice.
@Chi-Tian 欢迎将自己已发表论文中的模型集成进MMSA框架,可以提PR。如果是模型尝试(未发表)的话也可以使用MMSA框架进行调参,只要格式没问题,是可以使用的。
您好,MSA 领域中的 F1 通常是指 Acc-2 的 F1 Score。
@zhang05222 您好,目前多模态情感分析的模型训练的时候都是使用三个模态特征输入的,您所说的两模态输入有两种情况: 1. 视作某一个模态特征缺失,使用全零向量进行填充(目前平台不支持这个测试,如果有必要我们可以加入相应功能) 2. 需要改变模型的网络结构进行重新训练,这种是现在(除了Late fusion策略模型)多模态情感分析模型的共同问题。 另:APIs 更新在 https://github.com/thuiar/MMSA/wiki/Home 中的Api部分了,可以参考。
Hello, when i was using paip packages, I got "ModuleNotFoundError: No module named 'ruamel_yaml'" errors. when i used `pip install ruamel_yaml` I got Requirement already satisfied. @mrpep
> > Hello, when i was using paip packages, I got "ModuleNotFoundError: No module named 'ruamel_yaml'" errors. > > when i used `pip install ruamel_yaml` > > I got Requirement...
@Chi-Tian 关于您的第一个问题,由于各个机器的pytorch版本,和显卡型号的不同,模型结果需要从新在您的机器上进行调参。(即效果有一定差异是合理的),关于第二个问题 CH-SIMS v2是在ch-sims v1上对数据量、数据质量的一个扩展,其核心出发点在于构建一个“更加”能够体现音视频两个模态重要性的数据集,而不仅仅是predominant on text。具体情况可以参考论文 https://arxiv.org/pdf/2209.02604.pdf
您好,这些结果的可视化部分代码目前框架没有集成,请问您能说一下是什么性能曲线么。混淆矩阵用[scikit-learn](https://scikit-learn.org/) 能直接完成,所以没有提供; 如果有需要、需求合理的话,我们会考虑加入这部分功能。
1. Has0_acc_2 是指在测试时将回归标签、模型预测用 neg/non-neg 转化为分类问题,计算的二分类准确率(non-neg 包含所有≥0标签的样本),Non0_acc_2是指在测试时将回归标签、模型预测用 neg/pos 转化为分类问题,计算的二分类准确率(pos 包含所有 >0 标签的样本, 标签为0的样本不参与分类指标的计算)。 2. Multi_acc_5,Multi_acc_7分别指5分类、7分类准确率,其对应的物理意义不是很直接,可以对照具体实现来理解。 以上指标均是参考经典MSA文献的开源代码进行的实现,如 MulT 里面本身的实现方式,https://github.com/yaohungt/Multimodal-Transformer/blob/a670936824ee722c8494fd98d204977a1d663c7a/src/eval_metrics.py#L37