MobileAgent icon indicating copy to clipboard operation
MobileAgent copied to clipboard

Published 20 hours ago • verified publisher icon X-PLUG

增加根据xml的clickable属性判断是否可以点击

Open kx-kexi opened this issue 1 year ago • 2 comments

当手机界面存在几个相同的文字的时候首先利用xml的clickable属性判断是否可以点击从而进行筛选，可以让手机控制更加精准

kx-kexi avatar Jul 01 '24 12:07 kx-kexi

当手机界面存在几个相同的文字的时候首先利用xml的clickable属性判断是否可以点击从而进行筛选，可以让手机控制更加精准

您好。如果使用的是安卓手机，是可以通过XML提升定位准确率的。但这种方法不适用于所有平台的手机。我们希望Mobile-Agent能面向手机GUI而不仅仅是特定的操作系统，因此采用了全平台通用的纯视觉方案。

junyangwang0410 avatar Jul 02 '24 02:07 junyangwang0410

当手机界面存在几个相同的文字的时候首先利用xml的clickable属性判断是否可以点击从而进行筛选，可以让手机控制更加精准

您好。如果使用的是安卓手机，是可以通过XML提升定位准确率的。但这种方法不适用于所有平台的手机。我们希望Mobile-Agent能面向手机GUI而不仅仅是特定的操作系统，因此采用了全平台通用的纯视觉方案。

可以开个分支专用于安卓手机，因为这种手机界面相同的文字的情况并不算少，结合xml文件和视觉效果会更好

kx-kexi avatar Jul 02 '24 06:07 kx-kexi