FastGPT
FastGPT copied to clipboard
英文分词有重复的,chunkSplitter是默认的,可以确认原文中是没有重复部分的
例行检查
- [ x] 我已确认目前没有类似 issue
- [x ] 我已完整查看过项目 README,以及项目文档
- [x ] 我使用了自己的 key,并确认我的 key 是可正常使用的
- [ x] 我理解并愿意跟进此 issue,协助测试和提供反馈
- [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭
你的版本
- [ ] 公有云版本
- [ x] 私有部署版本, 具体版本号:
问题描述, 日志截图 是否是分词器的问题?
相关截图
分词结果:
原文:
补充下上面提问信息。
未复现该问题,可以提供更多操作细节和可复现例子?