PULSE icon indicating copy to clipboard operation
PULSE copied to clipboard

PULSE-7b模型,GPTQ-for-PULSE量化

Open zhaofeng3012 opened this issue 5 months ago • 5 comments

按照文档,对PULSE-7b模型,使用GPTQ-for-PULSE进行模型量化:

CUDA_VISIBLE_DEVICES=0 python bloom.py ${MODEL_DIR} custom --wbits 4 --act-order --groupsize 128 --save pulse7b-4bit-128g.bin --calib_data ${CALIB_DATA_PATH}

命令参数${MODEL_DIR}指的应该是PULSE-7bv5的模型文件夹路径吧? --calib_data ${CALIB_DATA_PATH}是什么意思?要设置什么路径呢? @hanrui1sensetime 求解答

另外,生成的pulse7b-4bit-128g.bin要怎么使用?在设置的地方替换原来的PULSE-7bv5的模型文件夹路径就可以了么?

zhaofeng3012 avatar Jan 17 '24 08:01 zhaofeng3012