NLP-Learning

> Thanks for your awesome work. > > [swift](https://github.com/modelscope/swift) now supports inference, training of InternVL-Chat-V1.5 model > > For more information, please refer to our document > > * [English](https://github.com/modelscope/swift/tree/main/docs/source_en/Multi-Modal/internvl-best-practice.md)...

> 拉下最新代码 > > `--use_flash_attn false` 感谢回复，但是还是报错，麻烦您再指点下： ``` [INFO:swift] InternVLChatModel: 25514.1861M Params (613.0541M Trainable [2.4028%]), 402.6563M Buffers. [INFO:swift] system: You are an AI assistant whose name is InternLM (书生·浦语). [INFO:swift]...

> > 感谢回复，但是还是报错，麻烦您再指点下： > > int8版本还没来得及做接入兼容 原版的应该没问题 > > 你可以尝试修改本地模型的`config.json`文件中的`attn_implementation`值，改为`eager` Int8按您说的改了`attn_implementation`值，但还是报错： ``` [INFO:swift] InternVLChatModel: 25514.1861M Params (613.0541M Trainable [2.4028%]), 402.6563M Buffers. [INFO:swift] system: You are an AI assistant whose name...

> @rTrQqgH74lc2PT5k 我推测可能是运行的时候OOM了，你能找一张比较小的图片或者多卡推理试下吗。运行的时候关注一下显存占用 int8我和题主遇到了一样的报错，我按您说的使用了两张32G卡加载int8，确定没有oom。

> @NLP-Learning @rTrQqgH74lc2PT5k 如果传--dtype bf16 可以正常跑吗 ref: [OpenGVLab/InternVL#144](https://github.com/OpenGVLab/InternVL/issues/144) 可以的，Int8加上这个参数就可以正常跑了！感谢！不管是单卡还是多卡都可以正常跑，一张32G的V100显存基本可以用满。 

> @NLP-Learning 方便测试一下--dtype bf16 下sft可以正常运行吗 我刚拉取了最新代码安装了最新依赖，分别试了一下： （1）用了5张32G V100，4张会报OOM ```shell CUDA_VISIBLE_DEVICES=1,2,4,5,6 swift sft \ --model_type internvl-chat-v1_5 \ --dataset coco-mini-en-2 \ --model_id_or_path /data/InternVL-Chat-V1-5 \ --use_flash_attn false ``` 最后会报错： ``` RuntimeError: indices should...