MMSA issues

Issue running lmf on mosi with default params

2

FileNotFoundError: [Errno 2] No such file or directory: '/home/sharing/disk3/Datasets/MMSA-Standard/MOSI/Processed/unaligned_50.pkl'

EjbejaranosAI

Text features extracted by Glove

1

Thanks for sharing yor work!!! Could you please provid the .pkl file that using Glove to extract text features on the CMU-MOSI and CMU-MOSEI datasets. Looking forward to your reply,...

ShiQingHongYa

HOW TO USE API

2

GET STARTED 1.2 API HOW TO USE IT? AND THERE IS AN ERROR (base) D:\MMSA-master\src\MMSA>python -m MMSA -d mosi -m lmf -s 1111 -s 1112 Traceback (most recent call last):...

HandsomeCBX

"audio": { "tool": "opensmile", "sample_rate": 16000, "args": { "feature_set": "eGeMAPSv02", "feature_level": "LowLevelDescriptors", "start": null, "end": null } }, "video": { "tool": "openface", "fps": 25, "multiFace": { "enable": false, "device": "cuda:0",...

tangyc314

关于MMSA_test 无法正常使用

7

你好！我成功地用你们的MMSA_run 训练出来了misa mosei 在models文件夹下的模型，也用你们的fes 提出来新视频的特征。但是我运行mmsa_test时运行到最后报错。这是我训练时用的命令 _python -m MMSA -d mosei -m misa --model-save-dir ./models --res-save-dir ./results_ 这是我的测试脚本 **_from MMSA.config import get_config_tune from MMSA import MMSA_test model = "/home/ben/hdd/AI/misa.pth"...

Ben5460

视频和文本对应不上

2

label文件中的video和text有很多不能对应。有些是视频和文本完全无关，比如-mJ2ud6oKI8。有些是视频和文本说的是同一个话题，但是clip id对应不上，或者视频中的句子在文本中完全没有出现。比如0BVed2nBq1g。有人知道这是怎么回事吗，或者有什么其他可以对应上的文件吗

gitgaviny

关于数据集的标签

1

您好，我在Google Drive上下载了CH-SIMS的label.csv和raw.zip。我发现label.csv里面每句话有四列数值型标注，还有一列标注是negative, neutral, positive。想问一下这四列数值型标注分别是对应哪些模态的呢？是M,T,A,V(Multimodal,Text, Audio, and Vision) 这个顺序吗? Negative, neutral, positive 是对什么的标注呢？

Faith-Uchiha

from MMSA import MMSA_run 失败

1

我用pip安装好后，想要from MMSA import MMSA_run时报错， ![QQ截图20230104190108](https://user-images.githubusercontent.com/73533698/210541235-f4da9e35-4690-4fe7-96e5-f0ed3956a00b.png)

NUTSHELL-X