解析python大项目时用chatglm模型几乎全是内存溢出,我是3060 12G显存

[qiujunhan]

• (1) Describe the bug 简述 解析python大项目时用chatglm模型几乎全是内存溢出,结果完全没法看,我是3060 12G显存

• (2) Screen Shot 截图

• (3) Terminal Traceback 终端traceback（如有）

• (4) Material to Help Reproduce Bugs 帮助我们复现的测试材料样本（如有） https://github.com/openai/consistency_models

Before submitting an issue 提交issue之前：

• Please try to upgrade your code. 如果您的代码不是最新的，建议您先尝试更新代码
• Please check project wiki for common problem solutions.项目wiki有一些常见问题的解决方法

[rong6767]

ChatGLM是这样的，有时候多问几个问题就会内存溢出

[binary-husky]

不建议用chatglm做解析程序这类任务，它参数少，能力太弱了

[binary-husky]

@qiujunhan 可能是输入文本太长了，我们的文本截断和切割最大token参数是按chatgpt设置的，小模型可能吃不消

[qiujunhan]

不建议用chatglm做解析程序这类任务，它参数少，能力太弱了

用gpt-3.5-turbo也是这样，只要py文件字数多无法解析了，希望可以以类或者函数作为截断多次解析