vllm-cn icon indicating copy to clipboard operation
vllm-cn copied to clipboard

Published 20 hours ago • verified publisher icon gameofdimension
→

Metadata

演示 vllm 对中文大语言模型的神奇效果

Results 5 vllm-cn issues
Sort by recently updated
recently updated
newest added

vllm 支持流式的batch推理吗？

我看源码好像vllm还是一条一条的推理的，并不是一次计算所有的输入的。也没有看到文档说能否支持stream的batching推理。

yungangwu avatar yungangwu

请问chatglm2有计划适配吗？

1 comment

wang-benqiang avatar wang-benqiang

A40 45G跑的起吗

pen-ho avatar pen-ho

如何支持百川13B

14 comment

请问如何支持百川13B，怎么修改代码呢

nuigdpgf avatar nuigdpgf

代码运行报错求助

1 comment

大佬按照代码流程安装完了依赖，进行baichuan模型推理时进程直接死掉了。

Alone749-i avatar Alone749-i

← Metadata

31
Stars
1
Forks
Watchers

Owner

verified publisher icon gameofdimension

Metadata

演示 vllm 对中文大语言模型的神奇效果

Back