MiniCPM

MiniCPM copied to clipboard

[Feature Request]: Need LoRA model in `.gguf` format

2

### Feature request / 功能建议 > Similar to #231, but useful Hey my dear bros, we're building an RAG application (especially for [one of our products](https://kun.bigdick.live/)) using MiniCPM3. Below is...

bioinformatist

Update finetune.py

1

Hi could we please add a pull request to section: 4.3 4.8 5.2 Thank you

elenitsonis

请问是否可以提供转成onnx的相关指导文档，谢谢

3

您好，由于Reranker采用的是双向注意力，无kv cache机制，因此使用vllm部署并不会有较大的提升。您可以尝试转成onnx _Originally posted by @Kaguya-19 in https://github.com/OpenBMB/MiniCPM/issues/258#issuecomment-2461252273_

IeohMingChan

[Feature Request]: 关于MiniCPM词表粒度对模型性能影响评估的想法

1

### Feature request / 功能建议 我最近关注分词对大模型效果的影响，具体分析了Qwen2.5、Deepseek和Gpt-4o词表以及可能存在的问题。 相关文档和代码在 https://github.com/zhaoyukoon/damoxing_fenci_gongji/tree/main。 我对MiniCPM3-4B做了一样的分析，MiniCPM3-4B也是基于BPE构建，发现词表其实也类似的情况，核心的店有很多长词。 ``` 加倍支付迟延履行期间的债务利息 可在接到判决书的第二日起十日内 离婚诉讼或者涉及未成年子女抚养 之日起五日内向本院申请复议一次 适用简易程序公开开庭进行了审理 这是一道关于多学科知识的选择题 融券筹码不断累加深天马重组案再遭 第一百五十四条裁定适用于下列范围 南京还有多少小区的水景明明废弃了 不同类型的客房附带不同的取消预订 ``` 初步统计了一下，其中有27617个中文词汇，其中有大量的长词汇，对应分布如下。 ``` 12241 2 8217 1 4189 3 1657...

zhaoyukoon

### Is there an existing issue ? / 是否已有相关的 issue ? - [X] I have searched, and there is no existing issue. / 我已经搜索过了，没有相关的 issue。 ### Describe the bug /...

foamliu

### Feature request / 功能建议 MiniCPM系列模型是否可以提供原生支持华为昇腾NPU进行训推的能力。

121209

### Is there an existing issue ? / 是否已有相关的 issue ? - [X] I have searched, and there is no existing issue. / 我已经搜索过了，没有相关的 issue。 ### Describe the bug /...

JV-X

### Description / 描述 测试环境说明：系统：Ubuntu 22.04.4 LTS 5.15.0-122-generic 驱动：rocm6.1.2 CPU：16核 Intel(R) Xeon(R) w5-3435X 内存：256G 4800 MT/s AMD 7900XTX FP16：123TFLOPS显存：24G显存带宽：964G（满血） ### Case Explaination / 案例解释 模型分别使用MiniCPM3-4B、MiniCPM3-4B-GPTQ-Int4、Qwen2.5-7B-Instruct-GPTQ-Int8，模型启动命令如下： MiniCPM3-4B：HIP_VISIBLE_DEVICES=1 python3 -m sglang.launch_server --model-path...

wyy007

[Feature Request]: Script used to convert MiniCPM to Llama format

3

### Feature request / 功能建议 I noticed that there is a [Llama format checkpoint](https://huggingface.co/openbmb/MiniCPM-2B-sft-bf16-llama-format) available, but the conversion script used to create this format is not publicly accessible. Would it...

ZeguanXiao

[Feature Request]: mlcllm support for minicpm3

1

### Feature request / 功能建议 will mlc-MiniCPM support minicpm3?

lin-calvin