CogCoM icon indicating copy to clipboard operation
CogCoM copied to clipboard

构造数据集的时候 可以使用glm4代替gpt4吗

Open Guodashen222 opened this issue 1 year ago • 3 comments

Guodashen222 avatar Mar 19 '24 09:03 Guodashen222

我们早期对比了ChatGLM-3和GPT4,实验发现后者效果更好。不过目前针对Question描述比较清楚的VQA数据,我们认为可以使用GLM4生成文本推理步骤。

qijimrc avatar Mar 20 '24 18:03 qijimrc

我注意到在cogcom/data/tools/gpt4.py中调用的模型api为gpt-3.5-turbo而不是gpt4,考虑到api的费用问题,是不是可以用gpt-3.5-turbo生成的com数据就能达到较为理想的效果? @qijimrc

terryII avatar Apr 12 '24 09:04 terryII

我注意到在cogcom/data/tools/gpt4.py中调用的模型api为gpt-3.5-turbo而不是gpt4,考虑到api的费用问题,是不是可以用gpt-3.5-turbo生成的com数据就能达到较为理想的效果? @qijimrc

Hi terry, 针对问题描述较为清楚的VQA数据,采用gpt-3.5-turbo也能获得较多的positive chains(我们测试GPT4生成positive chains的占比在35%左右,可以作为对比)。

qijimrc avatar Apr 13 '24 13:04 qijimrc