PULSE
PULSE copied to clipboard
PULSE-7b模型,GPTQ-for-PULSE量化
按照文档,对PULSE-7b模型,使用GPTQ-for-PULSE进行模型量化:
CUDA_VISIBLE_DEVICES=0 python bloom.py ${MODEL_DIR} custom --wbits 4 --act-order --groupsize 128 --save pulse7b-4bit-128g.bin --calib_data ${CALIB_DATA_PATH}
命令参数${MODEL_DIR}指的应该是PULSE-7bv5的模型文件夹路径吧? --calib_data ${CALIB_DATA_PATH}是什么意思?要设置什么路径呢? @hanrui1sensetime 求解答
另外,生成的pulse7b-4bit-128g.bin要怎么使用?在设置的地方替换原来的PULSE-7bv5的模型文件夹路径就可以了么?