cxk

I encountered the same problem！！！！help help

我也复现了，速度也是非常的慢，我是2张A100显卡。模型跟你用的一样，问问题，半天出来一个字。还没解决，持续关注该问题。如果解决了麻烦大佬给下解决方案。

直接这样运行速度快了。 ``` numactl -N 1 -m 1 python ./ktransformers/local_chat.py --model_path /data/model/models--deepseek-ai--DeepSeek-R1/snapshots/8a58a132790c9935686eb97f042afa8013451c9f/ --gguf_path /data/gguf_model/DeepSeek-R1-Q4_K_M --optimize_rule_path /data/ktransformers/ktransformers/optimize/optimize_rules/DeepSeek-R1-Chat.yaml --cpu_infer 30 --max_new_tokens 1000 ``` 这里面DeepSeek-R1-Chat.yaml的配置就是DeepSeek-V3-Chat.yaml中的复制版本 这是这次的推理速度 ``` Chat: 1+1等于几？ 嗯，用户问1+1等于几，这看起来是一个很基础的数学问题。不过，作为刚上线的人工智能，我需要仔细思考，确保回答准确。首先，我得确认用户的问题是否有隐藏的含义，或者是不是在测试我的基本运算能力。 首先，从数学的角度来看，1加1在十进制中确实是等于2的。这是最基本的算术运算之一，通常在幼儿园或小学一年级就会学到。不过，有时候可能会有其他情况需要考虑，比如在不同的数学系统里，结果可能会不同。例如，在二进制中，1+1等于10，但用户的问题并没有提到二进制，所以应该默认是十进制。 接下来，我需要考虑用户可能的意图。用户可能真的在问一个简单的问题，或者可能有更深层次的目的，比如测试我的反应速度，或者看看我是否会被简单的问题难倒。也有可能用户想确认我的回答是否可靠，尤其是在处理基础问题时。 另外，还要考虑是否有其他可能性，比如在某些逻辑系统或不同的数学理论中，1+1可能有不同的结果。例如，在布尔代数中，1代表真，那么1+1可能还是1，因为逻辑或运算中真或真仍然为真。但通常加法运算在布尔代数中可能指的是逻辑或，而算术加法则是不同的。不过用户的问题显然是在问算术加法，所以应该排除这种情况。 也有可能用户是在开玩笑，或者想看看我会不会给出一个幽默的回答，比如“1+1等于窗户”之类的谜语。但作为人工智能，我的首要任务是提供准确的答案，而不是猜测用户是否有隐藏的幽默意图，除非有明显的提示。...