PaddleSeg icon indicating copy to clipboard operation
PaddleSeg copied to clipboard

CAT-Seg (CVPR'2023)模型复现

Open chenjjcccc opened this issue 1 year ago • 0 comments

问题描述 Please describe your issue

CAT-Seg (CVPR'2023)模型复现

任务描述

任务背景

  • CAT-Seg是open-vocabulary semantic segmentation的前沿模型,其提出了一种cost aggregation方法将CLIP表征应用于像素级分割任务,在多个数据集上达到了开放集分割的SOTA

完成步骤

  1. 数据和模型、代码均已经开源。
  2. 根据开源代码进行网络结构、评估指标转换,代码链接
  3. 结合论文复现指南复现指南-新ppsigs/article-implementation/论文复现指南-新.pdf,进行前反向对齐等操作,达到论文Table.1中的指标
  4. 进行TIPC验证lite train lite infer 链条。
  5. 参考PR提交规范提交代码PR到ppseg中。

提交内容:

  1. 代码提交到PaddleSeg。可参考(#3098

chenjjcccc avatar Oct 24 '23 07:10 chenjjcccc