jackqdldd

OpenCompass，VLMEvalKit 评测模型的时候如何指定请求参数？

3

本地部署的模型参数和默认的参数不一致，如何在调用的时候指定参数

OpenCompass Eval-Backend 不能用自定义的数据集吗？

2

我在llmuses/benchmarks 按照格式定义了一个数据集，如何来验证vllm部署的模型？Native 模式没找到传模型地址的地方，OpenCompass模式 自定义的数据集不支持

llmuses 0.3.2 执行自带的数据集报错：ImportError: cannot import name '_datasets_server' from 'datasets.utils' (/data/anaconda3/envs/eval-scope/lib/python3.10/site-packages/datasets/utils/__init__.py)

12

python -m llmuses.run --model qwen/Qwen2-7B-Instruct --template-type qwen --datasets trivia_qa limit 2

**Describe the bug** When I start TaskingAI with Docker,enter the username and password,It takes a long time to loading. It makes a 404 error in docker loges **.env** AES_ENCRYPTION_KEY=f811ad95cb62d28df741d8722548defe6b7ae07015226005ac07aaef96735d34 JWT_SECRET_KEY=eaa1ecdbdff9dc615dfebf4a46e8085dac0a90afc896bebe20f066f3a2d91240...