opencompass

opencompass copied to clipboard

[Bug] AttributeError: module 'pkgutil' has no attribute 'ImpImporter'. Did you mean: 'zipimporter'?

1

### Prerequisite - [X] I have searched [Issues](https://github.com/open-compass/opencompass/issues/) and [Discussions](https://github.com/open-compass/opencompass/discussions) but cannot get the expected help. - [X] The bug has not been fixed in the [latest version](https://github.com/open-compass/opencompass). ### Type...

A-A-T-i-P

[Feature] 请问使用vllm评测时怎么实现类似HF多卡数据并行？

16

### 描述该功能 我在评测时的模型type 为vllm，参数如下：  但是显卡占用只使用了一张卡来评测任务  我想让任务划分为几份分别在8张卡上评测，这种功能可以添加吗？还是说可以实现，麻烦解答一下。非常感激！ 类似我如果设定为模型type为HF的话，会自动达到这种效果。   ### 是否希望自己实现该功能？ - [ ] 我希望自己来实现这一功能，并向 OpenCompass 贡献代码！

noforit

[Feature] ollama发布的模型如何评估支持

2

### 描述该功能 ollama直接发布本地模型非常方便，如何对这种api进行评估，是否可以给一个例子。 ### 是否希望自己实现该功能？ - [ ] 我希望自己来实现这一功能，并向 OpenCompass 贡献代码！

18600709862

### Describe the feature   在batch_size 分别为128，64，16的情况下，deepseek 1.3B 的P@1 分别是31.71、30.49、29.27 请问这是为什么？ ### Will you implement it? - [ ] I would like to implement this feature and create a...

noforit

使用baichuan-7b评估humaneval数据与榜单差距过大

2

### 先决条件 - [X] 我已经搜索过 [问题](https://github.com/open-compass/opencompass/issues/) 和 [讨论](https://github.com/open-compass/opencompass/discussions) 但未得到预期的帮助。 - [X] 错误在 [最新版本](https://github.com/open-compass/opencompass) 中尚未被修复。 ### 问题类型 我正在使用官方支持的任务/模型/数据集进行评估。 ### 环境 {'CUDA available': True, 'CUDA_HOME': '/usr/local/cuda', 'GCC': 'gcc (Ubuntu 9.4.0-1ubuntu1~20.04.1) 9.4.0', 'GPU...

zh190920

…l eval Thanks for your contribution and we appreciate it a lot. The following instructions would make your pull request more healthy and more easily get feedback. If you do...

arsh-orby

### 描述该功能 with choice和wo choice差几十个点，希望可以对齐llama3中的评估方式 https://github.com/meta-llama/llama3/blob/main/eval_details.md ### 是否希望自己实现该功能？ - [ ] 我希望自己来实现这一功能，并向 OpenCompass 贡献代码！

siftxxx

多卡推理，内存溢出[Bug]

4

### 先决条件 - [X] 我已经搜索过 [问题](https://github.com/open-compass/opencompass/issues/) 和 [讨论](https://github.com/open-compass/opencompass/discussions) 但未得到预期的帮助。 - [X] 错误在 [最新版本](https://github.com/open-compass/opencompass) 中尚未被修复。 ### 问题类型 我正在使用官方支持的任务/模型/数据集进行评估。 ### 环境 环境正确，将max_seq_len设置为16k时可单卡正常推理，设置为32k时内存溢出。 ### 重现问题 - 代码/配置示例 无 ### 重现问题 - 命令或脚本 python...

wjx-git

[Bug] There is a large gap in the partial subset of the long text evaluation data set

2

### Prerequisite - [X] I have searched [Issues](https://github.com/open-compass/opencompass/issues/) and [Discussions](https://github.com/open-compass/opencompass/discussions) but cannot get the expected help. - [X] The bug has not been fixed in the [latest version](https://github.com/open-compass/opencompass). ### Type...

bullw

### Prerequisite - [X] I have searched [Issues](https://github.com/open-compass/opencompass/issues/) and [Discussions](https://github.com/open-compass/opencompass/discussions) but cannot get the expected help. - [X] The bug has not been fixed in the [latest version](https://github.com/open-compass/opencompass). ### Type...

Ethan-9606