E2FGVI
E2FGVI copied to clipboard
数据归一化的问题
请问训练集数据归一化到[-1,1]之间,您的代码将遮挡区域设置为0,请问遮挡区域为什么不是设置成-1,是否是因为这对模型结果没有影响
很好的问题! 数据归一化的方式我们follow了STTN和FuseFormer的做法。我们没有尝试过遮挡区域设置为-1的做法,因此无法确定对模型的影响。
我想尝试改动网络来加深对3D Focal Transformer的理解。请问TemporalFocalTransformerBlock的数目为8有何含义.还有就是您文章里说会对每个Block的输入做split,包括时间t这个维度,但是代码里我似乎没有看到对t维度的相关操作。
您好,数目8是为了公平的与STTN和FuseFormer进行对比。 我们在文章的补充材料中提供了切分后的3D窗口尺寸大小: (T_{l} + T_{nl}) × 5 × 9. 在实验中,我们试过对t进行split,但发现将t设置为与输入序列长度一致的情况效果最好。
您好,我是这一块的初学者,想请教一下为什么在测试时调用的spynet仍然是预训练好的模型,我似乎没有看到训练时保存spynet的代码