danxuan2022

> 多次运行可能会有随机性，因为样例里面微调的参数比较少（只有两层lora），可能会微调力度不够。我当时example里用的配置是5卡每张卡的batch-size是4。 《因为样例里面微调的参数比较少（只有两层lora），可能会微调力度不够》微调粒度不够 微调参数偏少，只有两层lora，如果想在模型组网上多改动一些参数，需要怎么改？ 

> 修改`layer_range`参数，样例的脚本是微调了第0层和第14层，多传一些数字就是微调更多层，不传这个参数默认就是微调所有层。增大`lora_rank`也可以增加微调参数。

> > 修改`layer_range`参数，样例的脚本是微调了第0层和第14层，多传一些数字就是微调更多层，不传这个参数默认就是微调所有层。增大`lora_rank`也可以增加微调参数。 好的了解了 ，多谢🙏

> 多次运行可能会有随机性，因为样例里面微调的参数比较少（只有两层lora），可能会微调力度不够。我当时example里用的配置是5卡每张卡的batch-size是4。 除了增加微调模型的层数，如果few shot想取得比较好的效果，数据集上需要用多少图片会取得较理想的效果？ 我现在是在fewshot-data的dataset.json中添加了8张关于地图导航相关的图片和文字描述，但是看起来效果不是特别好，如果想取得比较理想的效果还是需要用大量数据做fine tuning吗？  **地图数据及描述信息如下：** 图片描述信息为：{"img": "fewshot-data/8.png", "prompt": "这张图片的背景里有什么内容？", "label": "这是地图导航,共18.1公里,30分钟到达,18米后进入无名道路。"} 

> 样容易 ok明白了，感谢解答，prompt换成：这张内容是什么？

> 建议把prompt换一下，你的数据显然不是问的背景是什么内容……这样容易让模型误解  看了一下效果，目前的话只能描述图片内容到是一张地图，显示地图的主要道路等描述信息，想进一步提取图片的文本信息如，这种信息如何可以通过few shot让大模型学习到预测推理出这种文本内容呢？  dataset.json内容如下 

辛苦帮忙看下～在线等待中... 我使用的单卡配置是16GB显存 是因为分布式启动使用launch.py，单机单卡launch启动不支持的原因吗？ 报错信息看不出是什么问题～～

> 默认就是单机单卡的，看起来有可能是机器的内存不足？不过我也不能确定，之前没遇到过 默认应该是单机八卡吧？ NUM_GPUS_PER_WORKER=8， OPTIONS_NCCL="NCCL_DEBUG=info NCCL_IB_DISABLE=0 NCCL_NET_GDR_LEVEL=2" OPTIONS_NCCL这个参数如果使用单卡的话是不是可以不用这个参数，单卡应该不涉及到nccl通信吧？

> 默认就是单机单卡的，看起来有可能是机器的内存不足？不过我也不能确定，之前没遇到过 嗯我换一台显存32GB的V100先试一下

> NUM_GPUS这个参数没用到，指定显卡是`--include localhost:0`这个参数。 > > 另外不是显存不足，是内存不足，模型要先放到内存上，再.cuda() ok,根据你们经验的话，单机单卡内存要多大可以