💡 [REQUEST] - 推理加速框架

[skyantao]

起始日期 | Start Date

01062024

实现PR | Implementation PR

Qwen-VL 有加速框架吗？如vLLm 或者 llama.cpp等类似框架， 我觉得推理速度有点慢，一张图片我的3090 需要3-5秒

相关Issues | Reference Issues

5️⃣

摘要 | Summary

Qwen-VL 有加速框架吗？如vLLm 或者 llama.cpp等类似框架， 感觉推理速度有点慢，一张图片解析3090 需要3-5秒

基本示例 | Basic Example

Qwen-VL 有加速框架吗？如vLLm 或者 llama.cpp等类似框架， 我觉得推理速度有点慢，一张图片我的3090 需要3-5秒

缺陷 | Drawbacks

Qwen-VL 有加速框架吗？如vLLm 或者 llama.cpp等类似框架， 我觉得推理速度有点慢，一张图片我的3090 需要3-5秒

未解决问题 | Unresolved questions

如题

[jessiewiswjc]

同问

[grygg]

同问

[chuangzhidan]

可以问下你是怎么实现的吗？

起始日期 | Start Date

01062024

实现PR | Implementation PR

Qwen-VL 有加速框架吗？如vLLm 或者 llama.cpp等类似框架， 我觉得推理速度有点慢，一张图片我的3090 需要3-5秒

相关Issues | Reference Issues

5️⃣

摘要 | Summary

Qwen-VL 有加速框架吗？如vLLm 或者 llama.cpp等类似框架， 感觉推理速度有点慢，一张图片解析3090 需要3-5秒

基本示例 | Basic Example

Qwen-VL 有加速框架吗？如vLLm 或者 llama.cpp等类似框架， 我觉得推理速度有点慢，一张图片我的3090 需要3-5秒

缺陷 | Drawbacks

Qwen-VL 有加速框架吗？如vLLm 或者 llama.cpp等类似框架， 我觉得推理速度有点慢，一张图片我的3090 需要3-5秒

未解决问题 | Unresolved questions

如题

可以问下你是怎么实现的吗？如 llama.cpp

[xuexidi]

用lmdeploy可以

[chuangzhidan]

Thanks♪(･ω･)ﾉ

[invisifire]

RTP-LLM 这个项目 上手有难度, 文档写的稀碎,但是实力确实不错