shrould8888
shrould8888
> 目前测试多次，版本对不上，老是报错，两个错误来回报； 错误1： flash_attn_2_cuda.cpython-312-x86_64-linux-gnu.so: undefined symbol: _ZN3c105ErrorC2ENS_14SourceLocationESs > > 错误2： KTransformersOps.cpython-312-x86_64-linux-gnu.so: undefined symbol: _ZN3c104cuda9SetDeviceEab > > ### Pull Request > _No response_ **试下更新全部系统软件装包到最新， 再试。(以上类似遇过， 更新后便好）** 最好是用建立虚拟环境（例如venv， 我是用uv)， 有些python模组要特定版本（但错误不是这个） 看过网上有教用conda用特定版本python， 但我不是用conda
今天发布了DeepSeek-V3.2正式版和DeepSeek-V3.2-Speciale，用ktransformer 应该怎样跑（指令是什么， 我的是XEON5+768GB+双4090）
It would be nice having AMX INT8 CPU weights available. Thanks!
you need at least 27-28GB VRAM even --kt-num-gpu-experts 0
you just need one more 24GB 3090. I run this model with 4090 x 2 without any problems I recommend that you should have at least 48GB VRAM in order...