sunjunlishi
sunjunlishi
https://huggingface.co/OpenGVLab/InternViT-6B-448px-V1-5 这里有推理代码，接着如何使用奥 @irexyc
@irexyc 你看下这个有1.5版本有人4bit量化，我就是没有调用成功。 https://huggingface.co/failspy/InternVL-Chat-V1-5-4bit
@irexyc 我当前对ocr，先走ocr识别，识别完后，作为多模态的上下文。基本也可以有个不错的效果。
 大模型的量化模型用来训练更有性价比
咱们的(原来是v1-2plus已基本够用,版本3输出位置是按照1000*1000)，很强。 还有咱们这应该没有专门针对测试数据，因为我实测身份证和营业执照等关键信息提取，都非常好，star应该上万，其他人没有发现此处是宝。
@czczup 哇塞效果这么好。普通消费者只能下载 15G左右的模型；我先尝试下 OpenGVLab/InternViT-6B-448px-V1-5。 thanks thanks
@czczup 对的，手写，关键信息提取，都非常棒。我只能先跑下特征提取那部分了。量化的需要合作？
https://huggingface.co/failspy/InternVL-Chat-V1-5-4bit 这里提供了一个量化的模型，就是不知道怎么调用
@czczup 老师，给转换一下呗，需要测试数据进行压缩是吗？ 我们同事都喜欢这个demo效果，搞个量化的嘛。