MiniCPM-V icon indicating copy to clipboard operation
MiniCPM-V copied to clipboard
Published 3 months ago • verified publisher icon OpenBMB

int4量化的精度下降了吗，下降多少？

Open wodsoe opened this issue 1 year ago • 2 comments

int4量化的精度下降了吗，下降多少？

wodsoe avatar May 24 '24 05:05 wodsoe

能提供fp8的版本吗

wodsoe avatar May 24 '24 05:05 wodsoe

int4量化的精度下降了吗，下降多少？

我们观察到，int4量化目前精度会有一个点以内的轻微损失。

tc-mb avatar May 24 '24 06:05 tc-mb

@wodsoe 目前我们正在集中力量推进llamacpp的集成和进一步提升模型性能。如您有时间，欢迎您成为minicpm-v开源社区开发者之一，欢迎提交fp8版本模型～

Cuiunbo avatar May 24 '24 08:05 Cuiunbo