starryzwh

同样的问题，加上了--label_names 参数，依旧报错

@pfchai 又试了一下 --label_names 后面不需要''引号，运行正常

> 显存方面是否有溢出 ？ 你好，我也遇到了同样的问题，gpu上进行压缩，报了同样的错误，显存并没有溢出，我设定的epoch是100，在最后一个step时报了错 报错前的最后日志信息如下： [2022-11-04 17:55:29,124] [ INFO] - global step 9690, epoch: 99, batch: 86, loss: 0.000001, speed: 4.03 step/s [2022-11-04 17:55:31,612] [ INFO] - global step 9700,...

> 您好~由于在我本地环境没有复现，所以二位可以提供更多的环境信息吗，比如paddlepaddle、paddlenlp、python的版本等，还有微调时使用的UIE预训练模型是？@starryzwh 报错信息方便的话也粘贴一下吧 您好，环境为win11、paddlepaddle-gpu==2.3.2、paddlenlp==2.4.1、 paddleslim==2.3.4、python==3.8 以下是详细报错信息： `[2022-11-04 17:55:26,605] [ INFO] - global step 9680, epoch: 99, batch: 76, loss: 0.000004, speed: 4.01 step/s [2022-11-04 17:55:29,124] [ INFO] - global step...

> 升级paddle的版本到最新2.4rc版本 您好，按照您说的，用conda install paddle paddlepaddle-gpu安装到了2.4.0rc0版本，在进行finetune模型压缩时，使用gpu，info信息到device，直接退出了，在使用cpu时，info到device时，会往下进行，但是很慢很慢，以下是相关信息 `python .\finetune.py --train_path .\data\train.txt --dev_path .\data\dev.txt --output_dir .\checkpoint\model_best --learning_rate 1e-5 --per_device_eval_batch_size 8 --per_device_train_batch_size 8 --max_seq_len 512 --num_train_epochs 50 --model_name_or_path .\checkpoint\model_best --seed 1000 --logging_steps 10...

> 你那边gpu进行微调训练是可以的吗@starryzwh 微调是可以的，版本也已经更新到2.4.0rc0，刚在另一个issue里看到@wawltor大佬说是paddlenlp需要develop版本的，我整尝试试一下此方法

> 您的paddle2onnx的版本是？建议更新到1.0.2 > > ``` > pip install paddle2onnx==1.0.2 > ``` 您好，按照您的建议，之前版本时1.0.1，更新到1.0.2，还是报上面的错误，相关算子并没有支持

> `fake_channel_wise_quantize_dequantize_abs_max`,`fake_quantize_dequantize_moving_average_abs_max`这些算子应该是旧版本的量化op，新版本量化op依赖paddlenlp的develop版本，压缩时onnx_format=True > > 再检查下`xxx/paddlenlp/trainer/trainer_compress.py`下onnx_format是否为True > > https://github.com/PaddlePaddle/PaddleNLP/blob/e97f6704409567196c7542304c8cb36a51495be0/paddlenlp/trainer/trainer_compress.py#L660-L661 是使用的paddlenlp的develop版本，检查相关代码，onnx_format值是True ```659 args.moving_rate, 660 'onnx_format': 661 True

> 麻烦帮忙确认下Paddle环境里的这个文件`Paddle/python/paddle/fluid/contrib/slim/quantization/imperative/qat.py`里`ImperativeQuantAware`类的`save_quantized_model`函数是否有`onnx_format`参数， > > https://github.com/PaddlePaddle/Paddle/blob/ccb47076b73dbc12d3408ff786dc31b1769e3084/python/paddle/fluid/contrib/slim/quantization/imperative/qat.py#L301-L304 > > https://github.com/PaddlePaddle/Paddle/blob/ccb47076b73dbc12d3408ff786dc31b1769e3084/python/paddle/fluid/contrib/slim/quantization/imperative/qat.py#L301-L304 > > 如果还有的话，再在paddlenlp的trainer_compress.py的`_quant_aware_training_dynamic`函数里的这个位置： > > https://github.com/PaddlePaddle/PaddleNLP/blob/e97f6704409567196c7542304c8cb36a51495be0/paddlenlp/trainer/trainer_compress.py#L752-L755 > > 补充上调用onnx_format=True，如下： > > ```python > quanter.save_quantized_model(self.model, > os.path.join(input_dir, > args.output_filename_prefix), > input_spec=input_spec, > onnx_format=True)...

> 有新版本发布我们会联系您~感谢您关注~ > > 您也可以按照上面的建议 为paddlenlp的trainer_compress.py的_quant_aware_training_dynamic函数加上onnx_format=True， 重新压缩导，再执行推理即可 参考[#3706 (comment)](https://github.com/PaddlePaddle/PaddleNLP/issues/3706#issuecomment-1309646563) 有朋友遇到相同的问题，已经成功了 非常感谢，按照上面的建议，重新压缩导出，并做推理，成功了！ 此刻，还想问一个问题，模型压缩这一步目前是使用paddlepaddle-gpu2.4.0rc0才能进行压缩，后续可以用新发布的稳定版本代替是吧？还有上面推理补充代码paddlenlp的trainer_compress.py的_quant_aware_training_dynamic函数加上onnx_format=True也会在新版本中呈现是吗？