udun01
udun01
为什么在main版本中，并没有文件路径 ktransformers/ktransformers/ktransformers_ext/cuda/
struct.error: unpack requires a buffer of 4 bytes when loading Qwen3Moe GGUF file with ktransformers
> 降到tag为v0.3.2重新编译试一下？ 使用pip show ktransformers，version为0.3.2+cu128torchavx2
struct.error: unpack requires a buffer of 4 bytes when loading Qwen3Moe GGUF file with ktransformers
> 看起来这不是你代码的问题，而是 GGUF 文件和 loader 版本/能力不匹配。常见排查步骤： > > 1. 先校验 GGUF 文件完整性，`sha256sum` 对照官方值，再用 gguf 工具打印 header 和 tensors 列表，确认能正常读。 > 2. 你用的是 Qwen3 MoE 变体，ktransformers 老版本对 MoE-GGUF 支持不完整，建议先试最新 nightly 版本；也可以交叉用...
struct.error: unpack requires a buffer of 4 bytes when loading Qwen3Moe GGUF file with ktransformers
(kt-LLM) nh@CHS:~/ktransformers$ python ktransformers/server/main.py --port 10002 --model_path /home/nh/LLM-Model/Qwen3-30B-A3B --gguf_path /home/nh/LLM-Model/Qwen3-30B-A3B-GGUF/Qwen3-30B-A3B-Q4_K_M.gguf --optimize_config_path ktransformers/optimize/optimize_rules/Qwen3Moe-serve.yaml --max_new_tokens 1024 --cache_lens 32768 --chunk_size 256 --max_batch_size 4 2025-08-26 10:45:01,368 - INFO - flashinfer.jit: Prebuilt kernels not found,...