MMSA icon indicating copy to clipboard operation
MMSA copied to clipboard
verified publisher icon thuiar

如何基于单模态进行训练

Open bie33333 opened this issue 1 year ago • 2 comments

比方说我只需要基于SIMS数据集训练视频模态，该如何设置config？

bie33333 avatar Feb 28 '24 13:02 bie33333

是修改下面两个参数吗？ 'seq_lens': [39, 400, 55], 'feature_dims': [768, 33, 709]

bie33333 avatar Feb 28 '24 14:02 bie33333

只需要使用原来的借口获得三个模态的序列，但只将获得的 video 模态序列输入到单模态模型中即可。

Columbine21 avatar Mar 01 '24 03:03 Columbine21