MiniCPM-o icon indicating copy to clipboard operation
MiniCPM-o copied to clipboard

Published 20 hours ago • verified publisher icon OpenBMB

端模型跑vlm的延时

Open dingtine opened this issue 6 months ago • 1 comments

我们在用小米14 pro测试了下llama.cpp以及ollama跑minicpm。 模型加载大约10s，图片编码大约10s。

相比llm，这个速度还是非常慢，我们有更好的方案解决图片编码问题吗，或者咱们有端模型群吗？

dingtine avatar Aug 26 '24 01:08 dingtine