Howard
Howard
可以使用LM Studio 本地运行,参考:https://modelscope.cn/models/HHaoAI/UI-TARS-1.5-7B-GGUF
> > 可以使用LM Studio 本地运行,参考:https://modelscope.cn/models/HHaoAI/UI-TARS-1.5-7B-GGUF > > 请问这个支持视觉么,看了好多帖子说lmstudio的部署不支持图片输入 支持的
详细设置参考这个帖子:#145
refer: https://modelscope.cn/models/HHaoAI/UI-TARS-1.5-7B-GGUF only support LM Studio.
可以使用LM Studio 本地运行,参考:https://modelscope.cn/models/HHaoAI/UI-TARS-1.5-7B-GGUF
可以处理图片的。
这里只能搜到 huggingface 上面的模型,我的模型在 modelscope,没有上传 HF 需要手动下载,放到LM Studio 的模型目录。
需要把 mmproj-ui-tars-1.5-f16.gguf 文件和 q8_0.gguf 文件放在一起,就会出现那个支持视觉的眼睛👀 另外,上下文长度要设置为:68000
没有测试过midscene,用UI-TARS-Desktop( https://github.com/bytedance/UI-TARS-desktop/releases/tag/v0.1.0 )测试可以正常执行浏览器操作,Q8量化的可能有精度丢失,官方模型是float32,试试不同精度的效果。
刚才又试了一下,使用最新版本的[UI-Tars-Desktop](https://github.com/bytedance/UI-TARS-desktop/releases)可以准确,你可以试试。