关于128k长度的上下文

[ydyhello]

您好，请问您尝试过更长的文本吗？比如128k。 当我尝试128k的上下文时，将一直停留在prefill阶段的kmeans阶段，这是否超过了cpu负载？ 如果您可以提供相关的解决方案，我将不胜感激！

[HugoZHL]

您好，我们尝试过更长的文本。理论上来说，gpu计算时间相对文本长度复杂度是O(s^2)，而cpu计算时间是O(s)，因此更长的文本下cpu的kmeans计算不应是瓶颈。您可以看看是否遇到了其他bug导致程序卡住。

[ydyhello]

非常感谢您的回复！ 我将kmeans最大迭代次数设为1时，解决了这个问题。

[HugoZHL]

你好，设置成1可能不太合理，你可以从这个版本出发，尝试减小pq的配置，或者debug看看有没有其他地方阻塞了程序正常运行