terryLiu

> > 我注意到了你们开创性的工作，我想知道你们的 synthesized CoM data是开源的吗？ > > Hi, 感谢对我们工作的认可。由于该工作是在公司实习期间完成，我们正在协调对于数据的开源。此外，我们在开源代码中给出了完整可复现的数据生成方法（见`data/`），包括`数据预处理`、`文本推理步骤生成`、`视觉内容标注`、`CoM遍历及合成`，给定任意包含图像的VQA数据源，可以很方便的构造大量的CoM推理链数据。 hi,我注意到论文中的com data数量在70k,剩余约500K数据是instruct dataset,请问这个数据我可以从哪里获取？是否是由公开数据集进一步清洗后得到？ @qijimrc

> @terryII Hi Terry, 我们在论文Sec. 2.3.2第二节中介绍了570K CoM数据的构成，其中：分别对应三种能力（instruction-following、texts-recognition和detailed-captioning）的公开数据集`MultiInstruct`，`LLaVAR`和`ShareGPT4V`构成了剩余的500K的数据。 好的 感谢！

hi,我尝试用公开数据集`MultiInstruct`，`LLaVAR`和`ShareGPT4V`来构建500K数据集时发现每个公开数据集的任务种类繁多，并且每个数据集的体量都大于500K，每种数据集三种能力较难抽取，请问采用什么原则才能快速的抽取出500K数据呢？或者能否开源这部分数据集？ @qijimrc

I have the same problem, @saki-37 how can I solve this error? @erjanmx 

我注意到在`cogcom/data/tools/gpt4.py`中调用的模型api为`gpt-3.5-turbo`而不是gpt4，考虑到api的费用问题，是不是可以用gpt-3.5-turbo生成的com数据就能达到较为理想的效果？ @qijimrc

hi,我尝试在4090上运行web demo,出现cuda out of memory,如何采用多卡来进行web demo的部署？ @qijimrc

而且官方com数据集也会出现该种情况，训练硬件为8xA10(24G),MP_SIZE=4，torch=2.2.0,cuda=12.1

可以通过如下方式调用`torchrun --standalone --nnodes=1 --nproc-per-node=4 cogcom/demo/cli_demo_sat.py --from_pretrained /data/CogCoM/CogCoM/cogcom-chat-17b --local_tokenizer /data/CogCoM/CogCoM-main/vicuna-7b-v1.5 --fp16 --quant 8`，是否量化按需添加 @AugWrite