ktransformers icon indicating copy to clipboard operation
ktransformers copied to clipboard

[Bug] 0.2.4 推理无法终止

Open Pb-207 opened this issue 9 months ago • 7 comments

检查清单

  • [x] 1. 我已经搜索过相关问题,但未能获得预期的帮助
  • [x] 2. 该问题在最新版本中尚未修复
  • [x] 3. 请注意,如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例,我们将难以复现和定位问题,降低获得反馈的可能性
  • [x] 4. 如果您提出的不是bug而是问题,请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭
  • [x] 5. 为方便社区交流,我将使用中文/英文或附上中文/英文翻译(如使用其他语言)。未附带翻译的非中文/英语内容可能会被关闭

问题描述

使用 Open-WebUI 作为前端使用,发出终止请求后后台仍在继续运行推理,0.2.3版本可以正常终止推理。

复现步骤

ktransformers
--model_path "/media/pb-207/LLM/models/DeepSeek/config"
--gguf_path "/media/pb-207/LLM/models/DeepSeek/DeepSeek-V3-Q4_K_M"
--optimize_config_path ~/PyProj/ktransformers/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-serve.yaml
--port 2345
--max_new_tokens 1024
--cache_lens 32768
--chunk_size 1024
--cpu_infer 32
--backend_type balance_serve
--max_batch_size 4
--model_name deepseek-chat

环境信息

CPU:EPYC 9965 RAM:12 * 6400 MHz 48G GPU:4090

Pb-207 avatar Apr 03 '25 16:04 Pb-207

看看是不是open-webui在对话结束后继续请求了生成对话标题和标签(管理员设置-界面-生成标题、生成标签)

yeungtuzi avatar Apr 04 '25 01:04 yeungtuzi

您好,现在的后端引擎无法停止请求,我们需要一些时间解决这个问题

qiyuxinlin avatar Apr 04 '25 03:04 qiyuxinlin

您好,现在的后端引擎无法停止请求,我们需要一些时间解决这个问题

请问解决了吗

NUSTHR avatar Apr 08 '25 11:04 NUSTHR

一样的问题,会话终止后,后端还是在不断推理,但不生成任何内容

NUSTHR avatar Apr 08 '25 11:04 NUSTHR

您好,我们最近主要在解决编译问题,这个问题解决后我会在这个 issue 下回复

qiyuxinlin avatar Apr 08 '25 11:04 qiyuxinlin

@qiyuxinlin hi,请问这个问题有什么进展吗?新版本是否已经不存在此问题了呢?

wkgcass avatar Aug 12 '25 08:08 wkgcass

0.3.2版本开启balance_serve还存在该问题,不开启没问题

zivenyang avatar Aug 12 '25 11:08 zivenyang