flybirds icon indicating copy to clipboard operation
flybirds copied to clipboard

使用交互行为录制生成文本描述

Open wanghaisheng opened this issue 2 years ago • 2 comments

Is your feature request related to a problem? Please describe. A clear and concise description of what the problem is. Ex. I'm always frustrated when [...]

Describe the solution you'd like A clear and concise description of what you want to happen.

Describe alternatives you've considered A clear and concise description of any alternative solutions or features you've considered.

Additional context Add any other context or screenshots about the feature request here.

进一步降低非开发人员的上手成本 在web端可以实现一次录制 多次调用

https://github.com/DeploySentinel/Recorder https://github.com/checkly/headless-recorder

问题是移动端怎么做?抛开css selector xpath定位的 纯视觉的定位应该可以直接用?

wanghaisheng avatar May 26 '22 02:05 wanghaisheng

为了进一步阐述这个问题我找到了之前看到过的一篇文章

https://p1.meituan.net/travelcube/9057abecf84a106b05540f0ce656322948582.png 如上图所示,我们提供给产品运营同学的交互仅有:录制、编辑、预览、发布等四个步骤,当产品运营同学需要在业务模块上线引导时,只需拟定一个剧本,然后四步即可完成这个“需求”,整个流程几乎不需要研发和设计同学的参与。

在具体的执行方案中,我们对剧本引导进行了模板化的设计编排,将每个引导动作抽象成一个事件,多个事件组合形成一个剧本。同时为保证不同终端的兼容性,我们设计了一套标准且易扩展的协议描述剧本元素,运行时 PC 管理后台和 App 可自动将剧本解析成可执行的事件(如坐标点击、页面导航、语音播放等)

flybirds 现在应该是还未实现页面导航 语音播放

https://tech.meituan.com/2022/04/07/waimai-application-scripted-guidance.html

wanghaisheng avatar May 27 '22 02:05 wanghaisheng

https://github.com/wanghaisheng/flybirds-gpt/blob/main/README.md

wanghaisheng avatar Jun 04 '23 05:06 wanghaisheng