MobileAgent icon indicating copy to clipboard operation
MobileAgent copied to clipboard

OWL-7B 模型 click 推理一直出现循环复制

Open xielinyun123 opened this issue 3 months ago • 5 comments

大佬好,我在使用owl-7b 来操作浏览器时经常会遇到执行到某个动作的时候,一直重复

Image 这似乎定位不对,但模型好像没有去更新定位坐标,我用的是end2end 的模型

xielinyun123 avatar Sep 10 '25 09:09 xielinyun123

你是用的owl-7b完整模型还是量化模型? 我使用gguc量化模型 gui-owl-7b@q8_0,坐标始终输出的是错误的

wufannet avatar Sep 13 '25 02:09 wufannet

大佬好,我在使用owl-7b 来操作浏览器时经常会遇到执行到某个动作的时候,一直重复

Image 这似乎定位不对,但模型好像没有去更新定位坐标,我用的是end2end 的模型

请问是每次都不对,还是偶发的?

junyangwang0410 avatar Sep 14 '25 03:09 junyangwang0410

你是用的owl-7b完整模型还是量化模型? 我使用gguc量化模型 gui-owl-7b@q8_0,坐标始终输出的是错误的

我用的是完整版本的,可能是7B的模型的问题,定位的话 可能没有32B的模型效果好,但也不是说它完全不准,就是会有误差 应该说是 7B模型 如果不用框架 ,用端到端的 7B模型一旦出现定位不准,它似乎不会反思,只会不停的重复

xielinyun123 avatar Sep 15 '25 02:09 xielinyun123

大佬好,我在使用owl-7b 来操作浏览器时经常会遇到执行到某个动作的时候,一直重复 Image 这似乎定位不对,但模型好像没有去更新定位坐标,我用的是end2end 的模型

请问是每次都不对,还是偶发的?

不是每次都不对,在进行多轮的时候,一旦在某一轮出现定位不准的时候,它似乎不会反思,就会一直重复这个动作,以及这个定位的坐标,7B的模型 出错的次数更多,32B出现的次数少一些,但一旦出现了 似乎就不会反思,后面一直重复

xielinyun123 avatar Sep 15 '25 02:09 xielinyun123

我觉得可能是这个开源的7B模型 应该在训练的时候 采用的是 离线的GRPO 进行单步训练的,对错误的反思,认知不足

xielinyun123 avatar Sep 15 '25 02:09 xielinyun123