Baichuan模型性能问题咨询

[zhaoyuguang]

您好

我目前部署了 https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat-4bits

然后模型执行 翻译2000个英文字符的任务 测试的结果是

stream模式 1个线程 90秒 2个线程180秒，类似线性增长的性能结果。

部署就是用 https://github.com/billvsme/my_openai_api/blob/main/my_openai_api.py 这里的示例

这个结果对么？

[baichuan-assistant]

这个指标和很多环境因素有关，这里没有官方的参考值哈