MiniCPM icon indicating copy to clipboard operation
MiniCPM copied to clipboard
verified publisher icon OpenBMB

请问是否可以提供转成onnx的相关指导文档，谢谢

Open IeohMingChan opened this issue 1 year ago • 3 comments 

          您好，由于Reranker采用的是双向注意力，无kv cache机制，因此使用vllm部署并不会有较大的提升。您可以尝试转成onnx

Originally posted by @Kaguya-19 in https://github.com/OpenBMB/MiniCPM/issues/258#issuecomment-2461252273

IeohMingChan avatar Nov 07 '24 09:11 IeohMingChan

同求，Optimum SDK 上似乎也没支持这个模型的 Onnx 的转换 o(╥﹏╥)o

a20185 avatar Jan 13 '25 07:01 a20185

可以先试试用llama架构转哈，我下周也来研究一下

Kaguya-19 avatar Jan 16 '25 03:01 Kaguya-19

欢迎参考这份Python脚本来导出MiniCPM4-ONNX

DakeQQ avatar Jul 07 '25 15:07 DakeQQ