[BUG/Help] int8的版本哪儿下载

[likunpm]

Is there an existing issue for this?

• [X] I have searched the existing issues

Current Behavior

RT 求int8版本

Expected Behavior

No response

Steps To Reproduce

RT 求int8版本

Environment

- OS:
- Python:
- Transformers:
- PyTorch:
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

Anything else?

No response

[BrightXiaoHan]

文档上有

model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).quantize(8).cuda()

[bltcn]

哪如果修改称quantize(4)，是不是就等同于int4的模型库

[Whylickspittle]

哪如果修改称quantize(4)，是不是就等同于int4的模型库

是的

[Alex-Zuo-One]

还是希望有int8的库，不然要下载的文件太多了

[likunpm]

文档上有

model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).quantize(8).cuda()

清华的那个下载站上面没有

[shesung]

1080ti上面int8似乎没加速，大家有遇到吗？

[PeterXiaTian]

还是希望有int8的库，不然要下载的文件太多了

下载THUDM/chatglm2-6b这个，其他的加载的时候配置化去量化