MMSA issues

请问SIMS数据集是否是已对其的数据集？或者有什么对齐方法吗？

1

提供的数据集下载链接中的SIMS数据集似乎是未对齐的(unaligned_39.pkl)，请问中文数据集有哪些对其工具？

关于使用自己的数据集如何特征提取以及配置

感谢大佬开源的代码和教程，我有几个问题想礼貌请教一下， 1. 我想使用自己的视频数据进行二分类任务，请问特征提取是必须要切分成video clip的形式吗，是否可以整个视频进行提取，如果可以请问label.csv中的clip id改如何填写； 2. 代码中应该如何增加自己数据集的配置（比如config文件中）； 3. 最新的模型TETFN，CENET和TSST是没有集成嘛，运行会报错没有这个模块；再次感谢各位大佬的工作！

Nasinhore1

Metric的计算方式是否统一

1

文本中的进行2/5/7分类的计算准确率的指标的时候采用的四舍五入到-3~3的整数，然后进行mirco-weight的指标计算，这种计算方式是通用的吗

201983290498

How MOSI's audio features are obtained

I noticed that the audio feature length of the MOSI dataset is 5. May I ask how the audio features are extracted for the MOSI dataset.

xiaoxinchaoren56

使用命令python -m MMSA -d sims -m self_mm运行SIMS数据集报错

1

raise RuntimeError( RuntimeError: Failed to import transformers.models.bert because of the following error (look up to see its traceback): cannot import name '_sentencepiece' from partially initialized module 'sentencepiece' (most likely due...

05Pikachu24

Tensor维度不一致

代码如下：特征提取： fet = FeatureExtractionTool(config='/data/huangjingwang/SCI/MMSA/cut/config2.json') infile_path=os.path.abspath('/data/huangjingwang/SCI/MMSA/cut/test_output/output_video_002.mp4') outfile_path=os.path.abspath('/data/huangjingwang/SCI/MMSA/cut/test_output/feature_get.pkl') text_path=os.path.abspath("/data/huangjingwang/SCI/MMSA/cut/input.txt") fet.run_single(in_file=infile_path, out_file=outfile_path,text="What is love") 模型训练： config=get_config_regression('mtfn','sims') config['custom_feature'] = '/data/huangjingwang/SCI/MMSA/dataset/SIMS/unaligned_39.pkl' MMSA_run('mtfn', 'sims', gpu_ids=[0], config=config, res_save_dir='/data/huangjingwang/SCI/MMSA/results/SIMS', model_save_dir='/data/huangjingwang/SCI/MMSA/models/SMIS') 模型测试： MMSA_test(config=config, weights_path='/data/huangjingwang/SCI/MMSA/models/SMIS/mtfn-sims.pth', feature_path='/data/huangjingwang/SCI/MMSA/cut/test_output/feature_get.pkl') config2.json内容： { "audio":...

JHB11Hinson