CodeSPA

Development Environment Info: Linux version 5.10.16.3-microsoft-standard-WSL2 (oe-user@oe-host) (x86_64-msft-linux-gcc (GCC) 9.3.0, GNU ld (GNU Binutils) 2.34.0.20200220) #1 SMP Fri Apr 2 22:23:49 UTC 2021 Quetion Info: when i use "pip install...

I also encountered this problem "java.net.SocketException: Connection reset" with HTTP response code 500

> Hello, would you mind sharing the instruction or prompt? 使用官方提供的用于Mobile的system prompt，下列日志对应的任务执行过程中Agent在第一次type操作之前没有检查键盘(ADB Keyboard)激活状态从而导致输入失败。 我尝试在system prompt中'Note'部分或者instruction中加入强调要求输入前检查键盘是否激活，但似乎没有起作用。 任务：打开韩小圈app，搜索电视剧《魔女》 Thought: 我在手机主屏幕上找到了韩小圈的图标，它在屏幕左下方，是个粉色底色配上白色文字的图标。为了开始搜索《魔女》这部剧，我需要先点击这个图标来启动应用。 Action: click(start_box='(195,1490)') Thought: 看到韩小圈的主界面了，顶部有个搜索框，正好可以用来找《魔女》。我得先点击一下搜索框，让它变成可输入状态，这样就能开始搜索了。 Action: click(start_box='(635,340)') Thought: 搜索框已经准备就绪了，我看到光标在闪烁，现在只需要输入"魔女"两个字就能找到这部剧了。搜索框就在眼前，我马上开始输入关键词。 Action: type(content='魔女') Thought: 看来搜索框已经准备好了，我注意到它正闪烁着光标，等待我的输入。既然要找《魔女》这部剧，那就直接在这里输入关键词吧。搜索框就在眼前，我马上开始输入。...

> 你好， 请问用的是哪一版模型呀，可以发下huggingface链接；推荐使用72b的模型，instruction following能力更好一些 我这边使用的是最近开源的UI-Tars-1.5-7B模型

> 目前开源版本的7b模型instruction following能力比较差，另外检查键盘激活状态这个操作是一个新增的action吗，如果是新定义的action，无论是7b还是72b模型都很难去看着prompt学会使用 不是新增action，是任务执行过程中出现了这个问题，所以想在prompt中加强调要求模型输入前检查键盘激活状态，但是目前没有起作用。

> 我理解这里的检查其实没有具体指怎么检查，希望模型自发地通过某些方式去做是吗； 如果是这样的话可能模型能力还不足够，或者可以在instruction里把如何检查说得具体一些 我是在user_instruction末尾加上一条要求，要求模型在输入前检查输入法键盘激活状态。具体的方式比如我用ADB键盘的话，就是检查屏幕底部是否出现"ADB Keyboard{ON}"文本。