BELLE icon indicating copy to clipboard operation
BELLE copied to clipboard

Published 20 hours ago • verified publisher icon LianjiaTech

请问为什么微调后的权重大小翻倍

Open ninghongbo123 opened this issue 1 year ago • 2 comments

我查看了bloom-7B是基于FP16的参数，模型大小十几个G。 为什么belle-7B模型大小来到了二十多个G，是从FP16转移到了FP32吗？

ninghongbo123 avatar Apr 16 '23 03:04 ninghongbo123

同问，不知道原因

listwebit avatar Apr 23 '23 05:04 listwebit

同问

WhizzoTech avatar Apr 23 '23 07:04 WhizzoTech