测试用例问题

[IndustryZoe]

您好，请问一下： 问题一：使用这个工具进行视频、语音、文本特征提取后，这些特征可以直接输入到MMSA中集成的已经训练好的模型吗？如果不能，需要进行怎样的调整。在您这个集成平台里，哪个文件有对特征的处理？ 问题二：请问一下，想知道针对MMSA-FET中特征提取工具，对视频、语音如何提取，包含了哪些内容特征，比如：频率等参数，我需要查询哪些资料？ 问题三：在使用ch-sims数据集时，这个工具包对该数据集的video是怎么进行特征提取的？具体是在哪个代码文件里实现的？

[FlameSky-S]

1. 训练和测试模型时必须使用相同的特征，所以抽取新的特征后需要重新训练模型。在训练时需要修改配置，指定新抽取特征的路径和维度等参数。
2. MMSA-FET工具所提供的样例配置文件仅作为参考，您可以查看调用的抽取工具（如：librosa，openface等）的官方文档来了解该工具支持抽取的特征。
3. 如要使用MMSA-FET来复现CH-SIMS的特征抽取，请参考这里

[IndustryZoe]

好的，谢谢，明白了。还有一个问题，当使用了“fet = FeatureExtractionTool("openface")”，提取视频特征，dict_keys(['audio', 'video']，即得到的feature既包含了audio也包含了video？

------------------ 原始邮件 ------------------ 发件人: "thuiar/MMSA-FET" @.>; 发送时间: 2022年8月25日(星期四) 上午10:26 @.>; @.@.>; 主题: Re: [thuiar/MMSA-FET] 测试用例问题 (Issue #11)

训练和测试模型时必须使用相同的特征，所以抽取新的特征后需要重新训练模型。在训练时需要修改配置，指定新抽取特征的路径和维度等参数。

MMSA-FET工具所提供的样例配置文件仅作为参考，您可以查看调用的抽取工具（如：librosa，openface等）的官方文档来了解该工具支持抽取的特征。

如要使用MMSA-FET来复现CH-SIMS的特征抽取，请参考这里

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>