能否加一个新类型type:text_processor

Open c2498168786 opened this issue 9 months ago • 2 comments

表结构超多会报错： litellm.exceptions.ContextWindowExceededError: litellm.ContextWindowExceededError: litellm.BadRequestError: ContextWindowExceededError: OpenAIException - This model's maximum context length is 18432 tokens. However, you requested 175399 tokens (171303 in the messages, 4096 in the completion). Please reduce the length of the messages or completion.

建议增加一个类型下面的文本处理 type: text_processor chunk_size: 512 # 分块大小（直接影响RAG效果） chunk_overlap: 50 # 块间重叠（防止语义割裂） metadata_filter: # 过滤非必要元数据 exclude_fields: ["created_time"]

Mar 20 '25 03:03 c2498168786

@c2498168786 請問這是在ui上做什麼操作導致的？

Mar 20 '25 03:03 cyyeh

@c2498168786 請問這是在ui上做什麼操作導致的？

你好。是页面是deploying sync表结构那个按钮

Mar 22 '25 16:03 c2498168786