Allen Yuan
Results
1
issues of
Allen Yuan
新版本的transformers cache接口有冲突，而老版本的transformers似乎还没支持deepseek v2（貌似4.54.0才支持）？所以没太明白tutorial里面的deepseek v2 lite怎么跑起来的，例如我这边transformers新老版本都会报错，求问怎么解决？感谢。 - KTransformers: 0.3.2 - CUDA: 12.6 - PyTorch: 2.6.0+cu126 - OS: Ubuntu 20.04.6 LTS ``` python ktransformers.local_chat --model_path ./DeepSeek-V2-Lite --gguf_path ./DeepSeek-V2-Lite-Chat-GGUF ``` 4.51.3: ``` Injecting...