gpt_academic
gpt_academic copied to clipboard
[Feature]: 按照所使用模型分别提高文本拆分的大小
Class | 类型
函数插件
Feature Request | 功能请求
目前大多数模型的上下文已经提升很多了,例如:
- Glm系列 128K
- GPT-4-Turbo 128k
- GPT-3.5-Turbo 16K
- Claude家族 200K
然而在大部分涉及文本拆分的部分(例如理解PDF内容,理解xx程序文件等等),分割文本的最大字节数量依然是硬编码(大部分在1900-2500)之间,是否能根据模型的上下文支持程度适当增高这个最大字节数量?