dream-wujianguo

Results 1 issues of dream-wujianguo

前提条件:利用evalscope进行模型性能测试,查询模型在最大支持token情况下的并发数, 已知:模型最大token是131072 问题:如何设置max_tokens、min_tokens、min_prompt_length和max_prompt_length参数