Qwen
Qwen copied to clipboard
💡 [REQUEST] - 您好 评测分数是否在 vLLM 部署下跑过,大家反映 vLLM部署和 huggingface 部署 输出差别很大
起始日期 | Start Date
No response
实现PR | Implementation PR
No response
相关Issues | Reference Issues
No response
摘要 | Summary
您好 评测分数是否在 vLLM 部署下跑过,大家反映 vLLM部署和 huggingface 部署 输出差别很大
基本示例 | Basic Example
无
缺陷 | Drawbacks
无
未解决问题 | Unresolved questions
No response
我们对比过,分数基本都是对的上的。如果输出差别很大可能是配置问题,麻烦提供具体的情况以便分析(包括模型、显卡环境、调用方法、有问题的输出)