lmdeploy icon indicating copy to clipboard operation
lmdeploy copied to clipboard
Published 1 month ago • verified publisher icon InternLM

[Docs] 问lmdeploy中的w8a8-triton实现是否有 实际llm（如llama2，qwen2）的推理速度加速效果的benchmark测试？

Open brisker opened this issue 1 year ago • 0 comments

📚 The doc issue

问lmdeploy中的w8a8-triton实现是否有 实际llm（如llama2，qwen2）的推理速度加速效果的benchmark测试？

Suggest a potential alternative/fix

问lmdeploy中的w8a8-triton实现是否有 实际llm（如llama2，qwen2）的推理速度加速效果的benchmark测试？

brisker avatar Oct 09 '24 09:10 brisker