size issue

Open minghsuanwu opened this issue 2 years ago • 2 comments

请问一下，安卓官方的代码对 bloom7b 进行词向量裁剪，但是得到的模型大小比官方的结果大

Apr 12 '23 03:04 minghsuanwu

这个看起来应该是模型精度的问题，看起来应该是由于原模型为float16，你裁剪之后保存的模型是float32。

Apr 12 '23 03:04 yangjianxin1

所以我想请教一下该如何设置保存的模型的精度

May 08 '23 15:05 aoguai