fastllm icon indicating copy to clipboard operation
fastllm copied to clipboard
verified publisher icon ztxz16

多并发胡言乱语

Open abxis opened this issue 5 months ago • 3 comments

Image 开了4并发，会胡言乱语，截图（两个并发）如上

abxis avatar Jul 25 '25 07:07 abxis

ftllm serve Qwen2.5-72B-Instruct-AWQ --device multicuda:0,1 --moe_device numa --model_name="Qwen2.5-72B-Instruct-AWQ" --think THINK，启动命令是这个

abxis avatar Jul 25 '25 07:07 abxis

解决了吗？

lysh avatar Aug 01 '25 01:08 lysh

解决了吗？

还没有，之前主要在处理GGUF的兼容，看起来是多卡dense模型有bug，正在看

ztxz16 avatar Aug 22 '25 08:08 ztxz16