hqlgree2

> 我也是这个问题，把finetune.py文件中的breakpoint()注释掉。但finetune出来的lora权重不知道用哪个，尝试了一遍，没看到lora的效果，量化加速也报错。 注释掉使用 11 万数据微调 1000 步就 4 分钟？基于 chatglm2-6b 的 ptuning 都需要 2 小时呢。 

(deepseek) ailearn@gpts:/data/sdd/models$ cd /data/sdd/models/ ; CUDA_VISIBLE_DEVICES=0,1,2,3 python -m vllm.entrypoints.openai.api_server --gpu-memory-utilization 0.99 --max-model-len 1024 --model DeepSeek-V2-Lite-Chat --enforce-eager --trust-remote-code --tensor-parallel-size 4 --host 0.0.0.0 --port 8008 2024-05-22 23:31:01,969 INFO worker.py:1749 -- Started a...