Langchain-Chatchat icon indicating copy to clipboard operation
Langchain-Chatchat copied to clipboard

Published 20 hours ago • verified publisher icon chatchat-space

针对上传的文件配置不同的TextSpliter

Open oushu1zhangxiangxuan1 opened this issue 2 years ago • 1 comments

  1. 目前的ChineseTextSpliter切分对英文尤其是代码文件不友好，而且限制固定长度；导致对话结果不如人意
  2. AliTextSpliter也只支持中文
  3. 需要允许为不同文件配置不同的Spliter
  4. 更进一步支持智能选择Spliter或者弄一个UniTextSpliter

oushu1zhangxiangxuan1 avatar May 12 '23 12:05 oushu1zhangxiangxuan1

已在计划开发其他splitter，将会提供不同textsplitter以供选择，后续会再提供更智能的选择方式，感谢提出的建议

imClumsyPanda avatar May 12 '23 12:05 imClumsyPanda