HEAL
HEAL copied to clipboard
yifanlu0227
关于使用opencood/hypes_yaml/opv2v/MoreModality/2_modality_end2end_training文件实现异构协同感知问题。
您好，感谢您的开源。 我在训练时，希望实现异构多智能体融合，但没有按照论文提示使用向后对齐机制，而是直接使用了opv2v/MoreModality/2_modality_end2end_training.yaml配置文件进行训练。请问使用这个配置文件训练，是否就是给智能体标记m1和m2模态，提取激光雷达点云和图像到BEV特征，直接就按照同质情况下的拼接么？有没有实现多模态数据融合中的特征对齐机制？那个Aligner似乎不是，默认设置成了identify。 希望能得到您的回答，非常感谢。
感谢您的回复。但是我想问的关键问题是，在多模态融合中一般都有一个跨模态对齐机制。在HEAL工作里单纯的两个模态端到端学习BEV特征后就直接进特征融合模块么？没有对齐？
---- 回复的原邮件 ---- | 发件人 | Yifan @.> | | 日期 | 2025年05月12日 00:04 | | 收件人 | @.> | | 抄送至 | @.>@.> | | 主题 | Re: [yifanlu0227/HEAL] 关于使用opencood/hypes_yaml/opv2v/MoreModality/2_modality_end2end_training文件实现异构协同感知问题。 (Issue #55) | yifanlu0227 left a comment (yifanlu0227/HEAL#55)
对的，让两个模态的encoder，自己端到端的学习特征
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
感谢您的回复。但是我想问的关键问题是，在多模态融合中一般都有一个跨模态对齐机制。在HEAL工作里单纯的两个模态端到端学习BEV特征后就直接进特征融合模块么？没有对齐？ …
---- 回复的原邮件 ---- | 发件人 | Yifan @.> | | 日期 | 2025年05月12日 00:04 | | 收件人 | @.> | | 抄送至 | @.>@.> | | 主题 | Re: [yifanlu0227/HEAL] 关于使用opencood/hypes_yaml/opv2v/MoreModality/2_modality_end2end_training文件实现异构协同感知问题。 (Issue #55) | yifanlu0227 left a comment (yifanlu0227/HEAL#55)
对的，让两个模态的encoder，自己端到端的学习特征
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
我看他代码里面是有对齐的吧
