awzhgw
awzhgw
```python``` Traceback (most recent call last): File "/export/App/training_platform/PinoModel/xtuner/xtuner/configs/llava/phi3_mini_4k_v16/convert_xtuner_weights_to_llava.py", line 99, in main() File "/export/App/training_platform/PinoModel/xtuner/xtuner/configs/llava/phi3_mini_4k_v16/convert_xtuner_weights_to_llava.py", line 94, in main convert_to_llava(args.text_model_id, args.vision_model_id, File "/export/App/training_platform/PinoModel/xtuner/xtuner/configs/llava/phi3_mini_4k_v16/convert_xtuner_weights_to_llava.py", line 80, in convert_to_llava model.load_state_dict(state_dict, strict=True, assign=True) File...
convert_xtuner_weights_to_llava.py and convert_xtuner_weights_to_hf.py can support llava-next model?
i has use https://github.com/hhaAndroid/xtuner/tree/refactor_llava train llava_1.6_phi3_8B model . but ,it cannot convert to office llava model use convert_xtuner_weights_to_llava.py can you help me ? #641 @LZHgrla @hhaAndroid help me ? thanks
can support https://github.com/haotian-liu/LLaVA model ?
i want use video-llava framework use mixtral-7Bx8 的大模型进行训练 改造完成后存在如下问题： 1. 现存不足。。使用h800的现存，跑 vedio-llava on mixtral 7bx8的模型, 报错：显存不足。。 那是因为mixtral 7Bx8 有大约46B 参数，而vicnue 7B只有 7B参数。。 那么我该怎么解决呢？ 我能在预训练阶段：使用4bit 进行预训练，来解决这个问题吗？
hi， 这2个大模型有啥区别吗？ 我在跑video llava的模型中，想问下这2个模型的区别在哪儿？哪个性能会更好？
llama_flash_attn_monkey_patch.py forward func cannot work?? when i add log on llama_flash_attn_monkey_patch.py forward func ,it donnot show ? why?
video preprocess backend ,opencv and pytorchvideo cannot work ? can test it ?
你可以升级transformer 到4.36.2吗？ 因为这个版本已经支持了mixtral model了
在我训练的过程中，使用了valley_llavaimage.json 训练的过程中，跑1个小时左右，会卡住，然后过30分钟，报错NCCL超时。 当我去掉mp4文件后， 则一切正常。。。不会报错。。这是为啥呢？
当我在finetune阶段的时候， 我的机器内存是1.9TB， 当我运行的过程中 内存占用了1.9TB，并且有354个进程在运行。 但是在checkpoint阶段，由于需要额外的内存，因此导致checkpoint被OOM ,进而导致退出。。 这个问题，该怎么解决呢？