MMSA

MMSA copied to clipboard

数据对齐与不对齐的影响

4

您好，请问数据对齐与不对齐对模型的影响是什么呢？因为看到您给出的result中不同模型用到的数据有对齐和不对齐，不知道这样不同的数据格式对模型对比是否有影响呢？

zzyh3434

请问是否可以使用自己的数据进行模型训练

4

具体应该怎样调用接口呢

jiangzihan2002

如何基于单模态进行训练

2

比方说我只需要基于SIMS数据集训练视频模态，该如何设置config？

bie33333

关于数据集MOSEI的使用

1

您好，首先感谢您的项目！ MOSEI数据集中应该是包含了Emotion的标签的，似乎在本项目提供的数据集中因为不会使用删去了。请问如果我想在你们提供的数据集的基础上获取Emotion标签，应该怎么做呢？

mskmei

我能在除tfr_net之外的其他模型做"data_missing": true, "deal_missing": true吗

1

请问可以在参数配置里给其他模型配置"data_missing": true, "deal_missing": true吗

lceCre4m

关于如何复现

7

你好，请问里面的python api应该如何调用，以及可以分享一下整个的复现步骤吗，我照着做会报错，非常感谢

HandsomeCBX

混精度训练模式下SIMS数据集中部分video数据在前向传播中会出现NaN

4

混精度训练模式下SIMS数据集中部分video数据在前向传播中会出现NaN（audio和text正常），但是关掉混精度模式就没有任何问题，不知道是不是因为特征提取的时候某些值的大小特别小

AZYoung233

Question for Forward lld (gaussian prior) and entropy estimation in MMILB Module

1

positive = -(mu - y)**2/2./torch.exp(logvar) Is "positive" vector (above in line 152) for the p(y|x) ~ N(y|µθ1(x), σ2 (x) I)? where is the -(lnσ + C) items in the probability...

yangmiemiemie1

MulT-MOSEI

1

Hello. I have tried to reproduce MulT (both aligned and unaligned) based on your code and I cannot match the (average) results you have reported in the paper. I have...

efthymisgeo

a problem with multitask

1


Zhan9YC