[Bug] 0.2.4 推理无法终止
检查清单
- [x] 1. 我已经搜索过相关问题,但未能获得预期的帮助
- [x] 2. 该问题在最新版本中尚未修复
- [x] 3. 请注意,如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例,我们将难以复现和定位问题,降低获得反馈的可能性
- [x] 4. 如果您提出的不是bug而是问题,请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭
- [x] 5. 为方便社区交流,我将使用中文/英文或附上中文/英文翻译(如使用其他语言)。未附带翻译的非中文/英语内容可能会被关闭
问题描述
使用 Open-WebUI 作为前端使用,发出终止请求后后台仍在继续运行推理,0.2.3版本可以正常终止推理。
复现步骤
ktransformers
--model_path "/media/pb-207/LLM/models/DeepSeek/config"
--gguf_path "/media/pb-207/LLM/models/DeepSeek/DeepSeek-V3-Q4_K_M"
--optimize_config_path ~/PyProj/ktransformers/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-serve.yaml
--port 2345
--max_new_tokens 1024
--cache_lens 32768
--chunk_size 1024
--cpu_infer 32
--backend_type balance_serve
--max_batch_size 4
--model_name deepseek-chat
环境信息
CPU:EPYC 9965 RAM:12 * 6400 MHz 48G GPU:4090
看看是不是open-webui在对话结束后继续请求了生成对话标题和标签(管理员设置-界面-生成标题、生成标签)
您好,现在的后端引擎无法停止请求,我们需要一些时间解决这个问题
您好,现在的后端引擎无法停止请求,我们需要一些时间解决这个问题
请问解决了吗
一样的问题,会话终止后,后端还是在不断推理,但不生成任何内容
您好,我们最近主要在解决编译问题,这个问题解决后我会在这个 issue 下回复
@qiyuxinlin hi,请问这个问题有什么进展吗?新版本是否已经不存在此问题了呢?
0.3.2版本开启balance_serve还存在该问题,不开启没问题