stranger
Results
2
issues of
stranger
/admin/groups/2?tab=project 
我分别对ChatGLM2-6B原始模型、chatglm2-6b-int4.flm模型单卡部署、chatglm2-6b-int4.flm模型多卡部署推理速度做了对比: ChatGLM2-6B 原始模型推理速度为 `100 token/s` 左右 chatglm2-6b-int4.flm模型单卡部署推理速度为 `220 token/s` 左右 chatglm2-6b-int4.flm模型多卡部署推理速度为 `100 token/s` 左右 多卡部署的时候就无法达到单卡的速度是吧?