Chen

应该是改变了模型结构导致的。 原来的prefix会对文本理解有一定帮助，现在结构改成了纯causal，加上大小只有6B，理解力肯定是下降的。我找了很久的ChatGLM2的论文或者技术报告之类的东西，也没有找到，所以不知道他们如何实现的。