eric_xu
Results
4
comments of
eric_xu
因为yes不关键，关键是使用的yes的logits
组内同事帮忙实现了，有一些小改动
> > 组内同事帮忙实现了，有一些小改动 > > 相比TensorRT和onnx有多大提升啊。 能否提供一下参考代码 avg p90 p99等耗时指标降低一半多，收益挺明显的，比预期高（之前以为只返回一个token，耗时优化应该不太明显)，强力推荐