英文分词有重复的，chunkSplitter是默认的，可以确认原文中是没有重复部分的

[lwdnxu]

例行检查

• [ x] 我已确认目前没有类似 issue
• [x ] 我已完整查看过项目 README，以及项目文档
• [x ] 我使用了自己的 key，并确认我的 key 是可正常使用的
• [ x] 我理解并愿意跟进此 issue，协助测试和提供反馈
• [x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

你的版本

• [ ] 公有云版本
• [ x] 私有部署版本, 具体版本号:

问题描述, 日志截图 是否是分词器的问题？

相关截图 分词结果： 原文：

[c121914yu]

补充下上面提问信息。

未复现该问题，可以提供更多操作细节和可复现例子？