chatglm.cpp
chatglm.cpp copied to clipboard
生成速度的评估
感谢杰出的工作!
对于下列表格的生成速度有疑问,请问这个速度(ms/token)是怎么计算出来的呢?
耗时都是用这个 benchmark 在一台 Linux 服务器上实测的: https://github.com/li-plus/chatglm.cpp/blob/12f6865bf166eb34b5d5876a55e439382ad37648/chatglm_test.cpp#L575-L617