MiniCPM
MiniCPM copied to clipboard
MiniCPM4: Ultra-Efficient LLMs on End Devices, achieving 5+ speedup on typical end-side chips
### Is there an existing issue ? / 是否已有相关的 issue ? - [X] I have searched, and there is no existing issue. / 我已经搜索过了,没有相关的 issue。 ### Describe the bug /...
### Description / 描述 ### 环境:  ### 问题 使用这里提供的apk:https://github.com/OpenBMB/mlc-MiniCPM 安装后下载完模型,按照说明操作到了ready to chat后上传图片就没有反应了,没有出现预期的“image process is done” 输入文字会直接报错:  详细报错: ``` MLCChat failed Stack trace: org.apache.tvm.Base$TVMError: InternalError: Check failed: (chat_ !=...
### Is there an existing issue ? / 是否已有相关的 issue ? - [X] I have searched, and there is no existing issue. / 我已经搜索过了,没有相关的 issue。 ### Describe the bug /...
### Feature request / 功能建议 lora训练文档里关于训练数据结构里,写的是 conversations,实际代码里用 message,也一并把这部分文档改一下。
### Is there an existing issue ? / 是否已有相关的 issue ? - [X] I have searched, and there is no existing issue. / 我已经搜索过了,没有相关的 issue。 ### Describe the bug /...
### Description / 描述 run: ``` pip install inference/vllm RuntimeError: The detected CUDA version (11.8) mismatches the version that was used to compile PyTorch (12.1). Please make sure to use...
### Feature request / 功能建议 仓库地址:https://github.com/mlc-ai/mlc-llm 类似 ONNXRuntime,但是对国产化模型的支持更好,可以通过 [web-llm](https://github.com/mlc-ai/web-llm) 在支持 WebGPU 的浏览器上直接跑大模型。
### Feature request / 功能建议 仓库地址:https://github.com/microsoft/onnxruntime 官网:https://onnxruntime.ai/ 这个格式我了解的也不是很深,但是从描述上来看微软想在机器学习领域搞一个类似 3D 界的 GLTF 格式,让大模型平台无关化,最直接的好处我能想到的大概就是能在客户端用浏览器直接跑大模型。