CogAgent icon indicating copy to clipboard operation
CogAgent copied to clipboard

Mobile端,第一步总是返回Launch

Open RainPot opened this issue 10 months ago • 6 comments

'task': '点击底部的“我的”tab', 'platform': 'Mobile' message': "Action: 打开美团应用程序,以便进行后续操作。\nGrounded Operation: LAUNCH(app='美团', url='None')"

传入的截图已经在对应APP首页了,换了好几个Task,都是返回LAUNCH,怎样才能绕过呢。

RainPot avatar Jan 07 '25 06:01 RainPot

这段历史已经传到模型了吗,看一下完整拼接完的提示词

zRzRzRzRzRzRzR avatar Jan 07 '25 08:01 zRzRzRzRzRzRzR

我的也是,啥都是美团,无语

cugb1004101218 avatar Jan 09 '25 12:01 cugb1004101218

image

cugb1004101218 avatar Jan 09 '25 13:01 cugb1004101218

python inference/web_demo.py --model_dir=./models --port=9999 --host=0.0.0.0 --platform=Mobile int8量化的版本

cugb1004101218 avatar Jan 09 '25 13:01 cugb1004101218

使用action_op会出现这种情况,使用status_plan_action_op不会出现,但也不会再生成launch命令

zhangyiwen5512 avatar Jan 10 '25 07:01 zhangyiwen5512

这段历史已经传到模型了吗,看一下完整拼接完的提示词

Task: 点击金刚位中的美食icon History steps: 0. LAUNCH(app='美团', url='None') 打开美团应用程序,以便进行后续操作 (Platform: Mobile) (Answer in Action-Operation format.) Model response: Action: 打开美团应用程序,以便进行后续操作。 Grounded Operation: LAUNCH(app='美团', url='None') Action: 打开美团应用程序,以便进行后续操作。 Grounded Operation: LAUNCH(app='美团', url='None')

RainPot avatar Jan 13 '25 02:01 RainPot