CodeZ-Hao

Results 5 comments of CodeZ-Hao

@ovowei 验证此PR未解决此问题,不论是配置--max_gpu_memory参数还是--force_cpu,仍报 `CUDA out of memory`: ``` root@hao-Super-Server:/work/ktransformers/ktransformers/kt-kernel# python scripts/convert_gpu_weights.py --model_id /media/data/models/GLM-4.6/ --output_dir /models/ZhipuAI/GLM-4.6-GPTQ4 --trust_remote_code --force_cpu --quant_type W4A16 🔧 Forced CPU-only mode 🚀 Starting quantization process Model: /media/data/models/GLM-4.6/ Output: /models/ZhipuAI/GLM-4.6-GPTQ4...

vim ~/.ktransformers/config.yaml 检查kvc2对应配置中, 1. disk_path参数对应路径,执行kt的用户是否有权限读写, 2. cpu_memory_size_GB参数对应磁盘空间大小是否小于disk_path指向路径的剩余可用空间大小。(例如,剩余磁盘300G,则此参数应当设置为小于300)

@ovowei 我测试了在我的设备上,--max_gpu_memory 12GB仍然CUDA out of memory,而--force_cpu则提示内存不足,可能与我本地内存只有384G有关系? 我的配置:单路 Intel(R) Xeon(R) Platinum 8461V + 3090 24G + 384G内存 CUDA版本12.6