生成速度的评估

[Vincent131499]

感谢杰出的工作！ 对于下列表格的生成速度有疑问，请问这个速度(ms/token)是怎么计算出来的呢？

[li-plus]

耗时都是用这个 benchmark 在一台 Linux 服务器上实测的： https://github.com/li-plus/chatglm.cpp/blob/12f6865bf166eb34b5d5876a55e439382ad37648/chatglm_test.cpp#L575-L617