piaomiaoju

那它推理的时候只能参考8K，能参考32么？ 目前看生成摘要任务，如果太长，只有最近的2K能起作用，其他的丢掉了。

https://lmsys.org/blog/2023-06-29-longchat/ 目前看，有效推理才3K上下文

temp 和 top_p 设置成0.6左右