kimi-K2截断输出
Describe the bug Kimi模型的输出总是被截断,是不是后台哪里设置了截断token数?
Desktop (please complete the following information):
- OS: Windows + MacOS
- Browser Edge
- ChatHub Version v3.90.0
我们没有限制token数。我看了下kimi的文档是关于max_tokens是这么说的:
这个值建议按需给个合理的值,如果不给的话,我们会给一个不错的整数比如 1024。特别要注意的是,这个 max_tokens 是指您期待我们返回的 token 长度,而不是输入 + 输出的总长度。比如对一个 moonshot-v1-8k 模型,它的最大输入 + 输出总长度是 8192,当输入 messages 总长度为 4096 的时候,您最多只能设置为 4096,否则我们服务会返回不合法的输入参数( invalid_request_error ),并拒绝回答。如果您希望获得“输入的精确 token 数”,可以使用下面的“计算 Token” API 使用我们的计算器获得计数
所以应该是它们后台有个默认值。 我们能做的是增加一个 max tokens的设置项
增加一个 max tokens的设置项
好的,增加一个 max tokens的设置项很有必要 thx
This issue is stale because it has been open for 30 days with no activity.
This issue was closed because it has been inactive for 14 days since being marked as stale.