embedding的维度数量限制问题

[travisgu]

例行检查

• [x] 我已确认目前没有类似 issue
• [x] 我已完整查看过项目 README，以及项目文档
• [x] 我使用了自己的 key，并确认我的 key 是可正常使用的
• [x] 我理解并愿意跟进此 issue，协助测试和提供反馈
• [x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

你的版本

• [ ] 公有云版本
• [x] 私有部署版本, 具体版本号: 4.8.1

问题描述, 日志截图 看来起embedding的维度不能超过1536，PG Vector的index算法不能超过2000 dimension, 但是通过其他方式进行支持： You can use half-precision indexing to index up to 4,000 dimensions or binary quantization to index up to 64,000 dimensions. Another option is dimensionality reduction.

不知是否有计划在以后的版本支持更高维度的embedding。

复现步骤 使用Ollama上的Qwen:72b模型进行embedding 预期结果

相关截图

[c121914yu]

half 模式后续打算增加，不过得看具体情况。可以考虑先用 milvus

[sanpatricky]

额外body参数里添加了以下内容 { "dimensions": 1024 }

也重启了fastgpt容器，还是报错： The current vector dimension is 3584, and the vector dimension cannot exceed 1536. The first 1536 dimensions are automatically captured

请问是漏了什么步骤了么

[moring-abyss]

half 模式后续打算增加，不过得看具体情况。可以考虑先用 milvus

您好，我看了下4.13.1版本的代码中formatVectors函数对向量数据已经做了截断处理，更换milvus数据库应该也是会有同样的问题，还有其他临时解决方式么