Bigfishering
Bigfishering
> hi，thouth i have changed the classess and the num_class，but i still met the same problem，could i get your email and ask for u？
have u changed the detector to yolov7？
i changed TensorRT from 8.4.2 to 8.4.3, and solved it.
要卡很久才会报出来 用的命令是: `evalscope eval --api-url http://0.0.0.0:8802/v1 --model /workspace/model_zoo/DeepSeek-R1-tokenizer --api-key EMPTY --eval-type service --datasets alpaca_eval --dataset-args '{"alpaca_eval": {"few_shot_num": 0, "filters": {"remove_until":""}}}' --eval-batch-size 128 --generation-config max_tokens=32768,temperature=0.0 --timeout 36000 --judge-strategy llm_recall --judge-model-args '{"api_url":"http://0.0.0.0:8802/v1/chat/completions","model_id":"/workspace/model_zoo/DeepSeek-R1-tokenizer"}'`...
> 麻烦提供下运行的命令和log 已提供
> 这里给的generation config是QwQ-32B建议的设置，跟Qwen2.5-Coder-1.5B-Instruct 最佳设置可能不一样 是否可以支持一下code类的评测嘞，就是借助另外的工具环境来验证代码的正确性，目前这种评测代码的方式感觉不是太准。