vision-ui icon indicating copy to clipboard operation
vision-ui copied to clipboard

视觉UI分析工具

Vision UI

GitHub GitHub GitHub

简介

English

Open In Colab

Vision UI 源于美团视觉测试工具,提供图像UI分析,识别服务

本项目无需训练模型,Vision-ml 项目提供RCNN训练框架

环境配置

# create venv and activate
git clone [email protected]:Meituan-Dianping/vision-ui.git --depth=1
cd vision-ui
pip3 install -r requirements.txt
# set working directory for command-line usage
export PYTHONPATH=$PYTHONPATH:$path/to/project/vision-ui

特性

  • 超越像素对比-视觉对比

  • 基于模板匹配-图像融合

  • 预训练模型-UI目标检测

  • 视觉语义-语义目标识别

  • 集成模型-文本识别

效果展示

UI目标检测

App1 App2 App3
infer_01 infer_02 infer_03

语义目标识别

image or text query proposal backend result
mario ui-infer trace_result_mario
a toy dinosaur patches trace_result_dinosaur
mario patches mario_jump

更多

效果展示

License

This project is licensed under the MIT