BELLE icon indicating copy to clipboard operation
BELLE copied to clipboard

Published 20 hours ago • verified publisher icon LianjiaTech

小白求问 为啥量化版本没有可用LlamaForCausalLM直接调用的方式呀

Open akiori opened this issue 1 year ago • 3 comments

首先非常感谢贵司提供的数据集和模型，这两天摩拳擦掌跃跃欲试 但是发现量化版本这种模型占用资源小的，都没法像原版那样直接用LlamaForCausalLM加载 我自己找的云服务器配置各种设置半天没弄出来... 请问贵司会提供LlamaForCausalLM这样方便调用的接口吗

akiori avatar Mar 28 '23 13:03 akiori

同问 你run起来了吗

zhangxueren9 avatar Mar 30 '23 02:03 zhangxueren9

同问 你run起来了吗

没有, 他这量化版本暂时就是没有可以直接调用的方法. 但他们应该在做了.... 环境别的装完了, 但卡在了显卡驱动上, linux本来就不熟悉, 一边google一边尝试, 有点难搞.

akiori avatar Mar 30 '23 06:03 akiori

私信聊一下 zxueren
非量化版本 显存你够用吗 我的只有12G

zhangxueren9 avatar Mar 30 '23 07:03 zhangxueren9