CogAgent icon indicating copy to clipboard operation
CogAgent copied to clipboard

SFT数据问题

Open SlamDunk-ycw opened this issue 10 months ago • 9 comments

非常nice的一个工作,但是我还有几个问题想咨询一下:

  1. SFT 中人工标记的数据集的数据格式
  2. Conversion of Agent Datasets 这一步的作用或者目的是什么?

SlamDunk-ycw avatar Jan 10 '25 09:01 SlamDunk-ycw

我们在finetune 文件夹下带有多轮微调的格式说明,你是否能对readme中的说明进行提问呢,我们希望知道你对具体文档的疑问~。 感谢理解

zRzRzRzRzRzRzR avatar Jan 11 '25 03:01 zRzRzRzRzRzRzR

非常抱歉占用你的宝贵时间,非常抱歉我没能精确的表述我的问题。在你们的论文中,用的Fine-Tuning Data数据中提到了用到人工标注的数据,如buttons、Three clickable areas、Two questions extracting information from the image等等,我想请问一下这部分的数据格式有更详细的说明吗?另外,我发现在其他issue里面你们提到最近有些follow的工作有开源相应的pre-training和Fine-Tuning的数据集,请问有相关的具体推荐吗?

SlamDunk-ycw avatar Jan 12 '25 08:01 SlamDunk-ycw

你好,非常抱歉再次打扰到你,请问有最新的消息了吗 ?

SlamDunk-ycw avatar Jan 21 '25 02:01 SlamDunk-ycw

我们的文档在这个位置 https://zhipu-ai.feishu.cn/wiki/SEyzwhgl3ihx7ykh7JScYTLmnXb 这里是关于如何做数据集的地方。 关于开源数据集,@jasonnoy能查看一下吗

zRzRzRzRzRzRzR avatar Jan 24 '25 06:01 zRzRzRzRzRzRzR

@jasonnoy

我看了制作微调数据的文档,我有一个疑问 就是如果想微调单步的操作, 是不是就可以直接制作包含一个messages对象json文件就可以?

还有就是如果微调的是一个手机应用,比如想点击一个用户头像,但是点击完用户头像以后,会跳转到用户的个人资料页,那这个历史步骤改怎么写? 因为已经是一个新页面,前序操作的UI元素都在新页面不存在了? 请问有相关的微调数据的实例吗 非常感谢

leeaction avatar Jan 24 '25 07:01 leeaction

  1. 这种可以做成多条数据。 {数据一: 第一个UI,第一个需求,第一个模型操作} {数据二: 第二个UI,第一个需求,第一个模型操作,第二个需求(或者还是第一个需求,因为这只是执行到了第二部),第二个模型操作} ...

请注意,上述的表述方式的具体实现要参考我发的文档中的格式

zRzRzRzRzRzRzR avatar Jan 25 '25 03:01 zRzRzRzRzRzRzR

是否可以提供一个最小可跑通的微调数据示例 包括训练集和验证集.... 在尝试微调过程中,好多时候无法确定数据整体格式是否正确,导致训练时解析验证集出现错误。。。

期待可以提供一个实例,可以按照示例数据来调整数据集的格式。。。

谢谢

leeaction avatar Jan 26 '25 07:01 leeaction

同求

icey-zhang avatar May 16 '25 07:05 icey-zhang

能不能提供一下这两张图 images/0000000000336.png images/0000000000482.png 看看能不能调通一下这个demo,感谢

icey-zhang avatar May 16 '25 07:05 icey-zhang