Ivan Lv
Ivan Lv
同求，如何加速推理呢？
https://huggingface.co/THUDM/chatglm-6b/blob/619e736c6d4cd139840579c5482063b75bed5666/test_modeling_chatglm.py#L120
> 理论上也可以，但是暂未实现，需要给image和text之间加入pad，并且修改对应的position_ids和mask sat 库 autoregressive_sampling.py 的 filling_sequence() 实现里第一句就是 assert len(seq.shape)=1，不支持 batch，库也不太方便改
> 这里有一个例子：https://github.com/THUDM/SwissArmyTransformer/blob/main/examples/chatglm/chat.py > > sat的模型也可以对接huggingface的generation实现batch推理 哇哦谢谢。请问该如何把自己finetune的模型转成huggingface格式呀？感觉就差一步了
同问，但看保存的模型文件有 15G，看上去是合并过的……
I don't find out the Chinese OCR ablity either after a few testing. However nice for english.
same issue, any solutions??
请问解决了吗
开源的代码了吗？好像还没找到诶
See [here](https://github.com/microsoft/DeepSpeed/issues/3583#issuecomment-1684927669)