ZZZ

Results 3 comments of ZZZ

Do you have plans to incorporate RISC-V or ARM CPU backends into the vLLM project? Thank you.

> 已更新代码,但因无法上传100MB以上的文件到github上,请去对应链接下载,或留下邮箱。 非常感谢,能否给[email protected]发送一份

为什么模型大小减少这么多,推理速度没有成比例减小呢?inference中是否包含了后处理部分?