感觉GLM2的概要总结能力很弱，要怎么组织prompt才能实现较好的简单概括能力

[liaoweiguo]

Is there an existing issue for this?

• [X] I have searched the existing issues

Current Behavior

要求总结下文，经常把原文直接输出，偶尔能总结，很不稳定

有什么办法提高效果

Expected Behavior

有效

Steps To Reproduce

请总结下文：

。。。。

Environment

- OS: ubuntu 20.04
- Python: 3.10
- Transformers: 4.29
- PyTorch: 2.0
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) : YES

Anything else?

No response

[BeanSprouts]

cy是什么

[piaomiaoju]

temp 和 top_p 设置成0.6左右

[PeterXiaTian]

temp 和 top_p 设置成0.6左右

跟prompt无关吗？

[cafeii]

应该是改变了模型结构导致的。

原来的prefix会对文本理解有一定帮助，现在结构改成了纯causal，加上大小只有6B，理解力肯定是下降的。我找了很久的ChatGLM2的论文或者技术报告之类的东西，也没有找到，所以不知道他们如何实现的。