lmdeploy
lmdeploy copied to clipboard
[Docs] 问lmdeploy中的w8a8-triton实现是否有 实际llm(如llama2,qwen2)的推理速度加速效果的benchmark测试?
📚 The doc issue
问lmdeploy中的w8a8-triton实现是否有 实际llm(如llama2,qwen2)的推理速度加速效果的benchmark测试?
Suggest a potential alternative/fix
问lmdeploy中的w8a8-triton实现是否有 实际llm(如llama2,qwen2)的推理速度加速效果的benchmark测试?