hyf0214

live_code_bench测试集准确率与qwen官方存在偏差

5

使用最新分支，按下面参数评测live_code_bench数据集结果总是和qwen官方给的存在偏差 偏差大概在百分之3-5这是正常现象吗 task_cfg = { 'model':'Qwen2.5-Coder-1.5B-Instruct', 'datasets':['live_code_bench'], 'dataset_args':{ 'live_code_bench': { 'extra_params': { 'start_date': '2024-08-01', 'end_date': '2024-11-30' }, "filters": {"remove_until": ""} # 过滤掉模型推理过程中的思考部分 }}, 'eval_batch_size': 8, # 发送请求的并发数 'generation_config':{ 'max_tokens':32000, #...