MiniCPM

MiniCPM copied to clipboard

Update README.md

1

minor fix README.md fro llama.cpp

n1majne3

[Bad Case]: function calling可以不用vllm吗？

4

### Description / 描述 from transformers import AutoModelForCausalLM, AutoTokenizer import torch import time s = time.time() path = "D:/MiniCPM3-4B" device = "cpu" tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch.bfloat16,...

cristianohello

可否提供一个 无限长上下文 MapReduce 的 sample code？

3

### Feature request / 功能建议 可否提供一个 无限长上下文 MapReduce 的 sample code？

msxfXF

[Feature Request]: 笔记本NPU如何调用MiniCPM

1

### Feature request / 功能建议 如何利用现在轻薄本提供的NPU部署MiniCPM

R0k1e

[Bad Case]: error

1

### Description / 描述 cos = cos[position_ids].unsqueeze(unsqueeze_dim) # [bs, 1, seq_len, dim] IndexError: index is out of bounds for dimension with size 0 ### Case Explaination / 案例解释 cos =...

lhjlhj11

[Feature Request]: 可否提供正確的CUDA version, PyTorch version, 以及 deepspeed version?

1

### Feature request / 功能建议 可否提供正確的CUDA version, PyTorch version, 以及 deepspeed version?

joyyang1215

请问embedding模型和rerank模型怎么finetune，用的FlagEmbedding的吗？

1

LIUKAI0815

What is llmxmapreduce? Any reference?

1

Congrats to your great work!

world2vec

[Bad Case]: 为什么推理速度比9b模型都要慢很多

2

### Description / 描述 使用vllm部署： python -m vllm.entrypoints.openai.api_server --model /data2/MiniCPM --host 0.0.0.0 --port 10999 --max-model-len 2048 --served-model-name minicpm --trust_remote_code 用evol-scope进行并发测试： 结果很慢，100并发结果： Benchmarking summary: Time taken for tests: 384.675 seconds Expected...

lixiaoyuan1029

### Description / 描述 非bug，请教一下你们预训练用了1.1T tokens，花了多少GPU和时间@LDLINGLINGLING ### Case Explaination / 案例解释 _No response_

zyh3826