fastllm icon indicating copy to clipboard operation
fastllm copied to clipboard

Published 20 hours ago • verified publisher icon ztxz16

chatglm2微调后的模型能加速 并且部署吗

Open sssssshf opened this issue 1 year ago • 2 comments

chatglm2微调后的模型能加速 并且部署吗

sssssshf avatar Sep 27 '23 02:09 sssssshf

目前不支持P-tuning微调的模型，但是支持lora和全量参数微调、冻结参数微调的模型。

TylunasLi avatar Sep 27 '23 07:09 TylunasLi

推理速度会加快，可以部署

yechong316 avatar Nov 13 '23 02:11 yechong316