gpt_academic icon indicating copy to clipboard operation
gpt_academic copied to clipboard

[Feature]: 按照所使用模型分别提高文本拆分的大小

Open Menghuan1918 opened this issue 1 year ago • 0 comments

Class | 类型

函数插件

Feature Request | 功能请求

目前大多数模型的上下文已经提升很多了,例如:

  • Glm系列 128K
  • GPT-4-Turbo 128k
  • GPT-3.5-Turbo 16K
  • Claude家族 200K

然而在大部分涉及文本拆分的部分(例如理解PDF内容,理解xx程序文件等等),分割文本的最大字节数量依然是硬编码(大部分在1900-2500)之间,是否能根据模型的上下文支持程度适当增高这个最大字节数量?

Menghuan1918 avatar Mar 05 '24 13:03 Menghuan1918