tsdcz
tsdcz
同求前端代码。
> 性能好像跟cpu/mem的配置都有点关系，手头一台第五代至强+一张A770，Deepseek R1 Q4KM 在 local_chat（cpuinfer 53）模式下，差不多能跑到 7-8 tps，感觉也够用了 能详细说一下机器的配置吗？
> FOR AMD BUILD SUCCESS python ./ktransformers/local_chat.py \ > > > --model_path /root/DeepSeek-R1 > > --gguf_path /root/DeepSeek-R1-UD-IQ1_S > > --max_new_tokens 2048 > > --force_think true > > Traceback (most recent...
蹲个回复 遇到类似的问题，返回值全是“！”，mi50+rocm6.3.3，使用CPU时就没问题。
解决了，机器上插了两个卡，一个mi50，一个5500xt，把5500xt拔了就好了
我电脑上还有一张3080，换个nvidia的亮机卡吧。