jiaweichaojwc

这个问题是由于标签问题导致的，一般就是你的数据集标签越界问题，比如你的标签一般是0,1,2，255，当出现了255的时候就会引发这种问题

@TimandXiyu Hello! Through my tests, I've found that the loss is challenging to decrease, mostly oscillating, and the mIoU is quite low. I feel that the mask adapter approach may...

> 我也是这个问题，请问你解决了吗？ 你好，我发现使用作者的maskadapter收敛是相当慢的，甚至不能收敛，我也查看了一些别的资料，我觉得是这种maskadapter好像不适合我的具体任务，我还有一种感觉好像是梯度不能反传，这个问题是一直困惑着我，我目前还是一个学生，我觉得以我的能力好像是暂时解决不了这个问题，如果你有更好的想法或者有解决方法，可以告诉一下我，谢谢

@LiquorPerfect 我自己重写过adamw的优化器，我的loss能降低一部分，但是我的val的miou好像最高达到10，你的miou是否是正常的？我做的是语义分割的微调，感谢你的工作

@LiquorPerfect 恭喜你的训练结果取得了不错的接果，我看作者发布的源码，大概就是将最后的输出变成了（b,n,h,w），而我修改了一部分encoder的部分，出现了loss不收敛，我接着使用原来sam的forward结构，还是不收敛，我倒是觉得不像是ce的loss的问题，虽然你是二分类的问题，但是我是多分类的问题，我觉得最后都要输出（b,n,h,w），您可以让我看一下你的训练配置文件吗？  这是我的优化器和训练策略，我改了好几次的训练策略，好像loss降低到0.2左右附近，然后出现了loss上下浮动，并且miou也维持到了8左右，我想应该是训练策略的问题

> 我后面没有通过配置文件创建，修改的直接在代码里。我感觉point和boxes不适合多类别语义分割，你的提示词是什么？mask or point or box? > > add: 要不你看看下面两个。 https://github.com/UX-Decoder/Semantic-SAM https://github.com/UX-Decoder/Segment-Everything-Everywhere-All-At-Once 我使用的是https://github.com/ziqi-jin/finetune-anything，这个目前还不支持提示信息呀，作者是将提示的舍弃掉了，直接用的encoder和maskadapter，loss这个问题困惑我许久，直到最近你回答了这个问题，我觉得可以试一下，目前感觉还是很难解决，不知道什么原因，可能会暂时搁置一下了

这样呀，虽然我的数据集有boxes的提示信息，但是当我在进行验证的时候是否还是需要一个人工交互的场景？我目前做的任务是安检语义分割的任务，如果我训练的时候使用boxes，但是当我部署下来使用的时候就会出现人工交互的场景，这样无疑是给人工带来了极大的不便，所以我觉得加提示信息不太适合我的任务，还是我的理解有误？如果你有更好的想法欢迎给出指导

@LiquorPerfect 原本sam最后生成的是0和1的mask图，作者通过这个仓库进行了maskadapter，引入了num_class，让其能够适应多分类的任务了，但是我确实是loss不能下降，miou确实也是最高只能达到10左右

@LiquorPerfect 好的，谢谢你啊，我去看看这两个项目

@bvcg204 我觉得是这种微调的架构有问题，我目前没有解决方法，这个问题困惑了我很久，现在已经放弃了