Qwen icon indicating copy to clipboard operation
Qwen copied to clipboard

💡 [REQUEST] - 您好 评测分数是否在 vLLM 部署下跑过,大家反映 vLLM部署和 huggingface 部署 输出差别很大

Open micronetboy opened this issue 1 year ago • 1 comments

起始日期 | Start Date

No response

实现PR | Implementation PR

No response

相关Issues | Reference Issues

No response

摘要 | Summary

您好 评测分数是否在 vLLM 部署下跑过,大家反映 vLLM部署和 huggingface 部署 输出差别很大

基本示例 | Basic Example

缺陷 | Drawbacks

未解决问题 | Unresolved questions

No response

micronetboy avatar Dec 21 '23 03:12 micronetboy

我们对比过,分数基本都是对的上的。如果输出差别很大可能是配置问题,麻烦提供具体的情况以便分析(包括模型、显卡环境、调用方法、有问题的输出)

hzhwcmhf avatar Dec 21 '23 11:12 hzhwcmhf