Zhe Chen
您好，可以再试试升级lmdeploy到0.5.3，并且如果安装了apex请卸载它；我最近在使用lmdeploy 0.5.3 + InternVL2-Llama3-76B + tp=8标数据，可以获得正常的推理结果，并且比pytorch (transformers)的推理速度有10倍的提升。
你好，请问您的transformers和sentencepiece是什么版本？
Hi, since there hasn't been any recent activity on this issue, I'll be closing it for now. If it's still an active concern, don't hesitate to reopen it. Thanks for...
Hello, you can use float16 instead of bfloat16.
Hello, this should be my typo, it may slightly damage the performance.
您好，我记得当时是按照从左到右从上到下的顺序处理的，因为只监督模型提取OCR特征的能力，我觉得打乱语序的关系不大。 另外，除了最初的一段时间，大部分的训练都不使用带框的OCR数据了。在我们的预训练阶段，由于不打开LLM，训练坐标难以收敛；在SFT阶段打开了LLM，大量的坐标训练会显著破坏LLM的原始语言能力。
另外我打算把预训练用的两个Wukong-OCR和LaionCOCO-OCR开源了，就是这两个都特别大，整理和上传到HF还需要一些时间。
> > 另外我打算把预训练用的两个Wukong-OCR和LaionCOCO-OCR开源了，就是这两个都特别大，整理和上传到HF还需要一些时间。 > > 你好，看到huggingface上有这俩数据集，但是都是空的，是还在上传中吗，预计多久可以上传完成呢？谢谢 因为人手不足还没开始传，应该会在国庆假期的时候传完。
Hello, we are using the `Trainer` from the `transformers` library for fine-tuning in our code. Could you please explain why the `SFTTrainer` is being used instead? https://github.com/OpenGVLab/InternVL/blob/main/internvl_chat/internvl/train/internvl_chat_finetune.py#L816
你好，我们的InternViT‑300M‑448px是从InternViT-6B-448px-V1-5中蒸馏出来的，这块的代码暂时还没有放。