leeaction
leeaction
> > 啊？ 你在V100上有这么快的速度吗？ 我在v100上单步操作会用到40s左右 你是量化过吗？ > > 没有做量化，建议检查是不是每次推理都重新了加载模型。牛牛app搭载了CogAgent-9B-20241220，单步推理体感2s左右，所以我的8s应该也有问题。 你是用的什么推理框架？ 还是基于官方的demo?
> > > > 啊？ 你在V100上有这么快的速度吗？ 我在v100上单步操作会用到40s左右 你是量化过吗？ > > > > > > > > > 没有做量化，建议检查是不是每次推理都重新了加载模型。牛牛app搭载了CogAgent-9B-20241220，单步推理体感2s左右，所以我的8s应该也有问题。 > > > > > > 你是用的什么推理框架？ 还是基于官方的demo? > > 官方demo 你用的是A100吧？...
> sorry，8s是我的体感时间，刚才批量测的平均时间是13s。精度用的bfloat16，两张v100，模型回答正常。牛牛app的推理速度好快呀，请问怎么能达到那个速度。 > […](#) V100 不支持 bfloat16吧？
is CogAgent support vLLM officially？
> > 配合使用最新的/UI-TARS-desktop-v0.1.0。效果很差，基本处于不可用状态，但是火山API调用却是正常的，因此有两个问题： 1、火山API的模型是开源版本吗？ 2、如果不是开源版本，开源版本是否存在可以优化的部分 > > 1、doubao-ui-tars1.5是内部的sota版本 2、根据官方描述，后续会放出其他的优化版本 所以1.5版本相比于1.0版本性能有回退是吗？
意思是不是用来断言页面的状态， 比如当前处于什么页面 是不是跳转到了正确的页面 或者页面里是不是有哪些元素 这些元素是不是在正确的位置上 等等。。。
> @jasonnoy 我看了制作微调数据的文档，我有一个疑问 就是如果想微调单步的操作， 是不是就可以直接制作包含一个messages对象json文件就可以？ 还有就是如果微调的是一个手机应用，比如想点击一个用户头像，但是点击完用户头像以后，会跳转到用户的个人资料页，那这个历史步骤改怎么写？ 因为已经是一个新页面，前序操作的UI元素都在新页面不存在了？ 请问有相关的微调数据的实例吗 非常感谢
是否可以提供一个最小可跑通的微调数据示例 包括训练集和验证集.... 在尝试微调过程中，好多时候无法确定数据整体格式是否正确，导致训练时解析验证集出现错误。。。 期待可以提供一个实例，可以按照示例数据来调整数据集的格式。。。 谢谢