zhaofeng3012
Results
1
issues of
zhaofeng3012
按照文档，对PULSE-7b模型，使用GPTQ-for-PULSE进行模型量化： CUDA_VISIBLE_DEVICES=0 python bloom.py ${MODEL_DIR} custom --wbits 4 --act-order --groupsize 128 --save pulse7b-4bit-128g.bin --calib_data ${CALIB_DATA_PATH} 命令参数${MODEL_DIR}指的应该是PULSE-7bv5的模型文件夹路径吧？ --calib_data ${CALIB_DATA_PATH}是什么意思？要设置什么路径呢？ @hanrui1sensetime 求解答 另外，生成的pulse7b-4bit-128g.bin要怎么使用？在设置的地方替换原来的PULSE-7bv5的模型文件夹路径就可以了么？