InternVL icon indicating copy to clipboard operation
InternVL copied to clipboard
Published 3 months ago • verified publisher icon OpenGVLab

InternVL−Chat−V1.5-Int8的耗时是InternVL−Chat−V1.5的三倍吗？

Open wtl0207 opened this issue 1 year ago • 1 comments

InternVL−Chat−V1.5-Int8的耗时是InternVL−Chat−V1.5的三倍吗？我在A100上进行测试，同样的数据，InternVL−Chat−V1.5耗时550秒，InternVL−Chat−V1.5-Int8耗时1810秒

wtl0207 avatar May 09 '24 10:05 wtl0207

Int8虽然省显存了，但是推理会变慢

czczup avatar May 09 '24 12:05 czczup

请问模型效果会变差吗

xylovezxy avatar Jun 04 '24 08:06 xylovezxy