paper SAAplus

[junxnone]

SAA+

• SAA - Segment Any Anomaly [Naive prompt] = anomaly 存在语言歧义
• SAA+ [hybrid prompt] = Domain Expert Knowledge + Target Image Context
• Anomaly Region Generator 异常区域生成器 [Grounding DINO] - 找到目标区域生成坐标 Score
• Anomaly Region Refiner 异常区域细化器 [SAM] - 根据前一步的结果实现分割
• 减少语言歧义的的方法
  • Domain Expert Knowledge : 专家手动设计提示词
  • Target Image Context

Hybrid Prompt Regularization

• General Prompts [Class-agnostic prompts]
• Manual Prompts (Domain Expert Knowledge) [Class-specific prompts]
• Object Property Prompts

General Prompts

Domain Expert Knowledge

• 专家领域知识
• Language Prompt 语言提示，异常描述，类别，颜色
• Property Prompt 属性提示，位置和大小 [面积 IoU]

Language Prompt

Property Prompt

提取信息

• object_prompt - 目标名称
• object_number - 目标数量
• k_mask - 最大缺陷数量
• defect_area_threshold - 缺陷区域大小
• object_max_area - 缺陷最大面积
• object_min_area - 最小面积
• similar - 多个目标是否相似

Target Image Context

• Anomaly Sailency Prompt 使用预训练卷积网络(wide_resnet50_2)提取特征，计算特征点与近邻的余弦相似度获取显著图
• Anomaly Confidence Prompt
• 从图片中提取

Reference

• Code
• paper - Segment Any Anomaly without Training via Hybrid Prompt Regularization