HoratioJSY

While_loop OP 在训练中正常，在paddle inference中报错

6

### 请提出你的问题 Please ask your question 我们使用 paddle.static.nn.while_loop() 构造循环体时，如果在训练program取循环结果的OP，能正常输出；当我们通过paddle.static.save_inference_model() 将program 导出成推断模型时，取循环结果的 OP 会报错，而且都是GPU方面的错。 后来我们参照 paddlenlp 中 GPT-3 [循环解码部分](https://github.com/PaddlePaddle/PaddleNLP/blob/develop/examples/language_model/gpt-3/static/modeling.py#L1230)，将paddle.static.nn.while_loop() 改为 paddle.fluid.layers.While() ，发现同样的现象，在训练中取循环结果都是正常的，但是导出成推断模型，取循环结果总是报GPU方面的错误。 后面初步定位，在不开启paddle.inference.Config().collect_shape_range_info()的情况下不会报错，在开启的情况下会报错。 如下是相关的信息： 1. 测试模型训练中正常取循环体结果，即类似GPT解码多步预测结果： ```python 2022-08-05 10:21:53,426 - INFO...

Paddle Inference 将所有参数与 OP放在 GPU 上推理模型

14

### 请提出你的问题 Please ask your question 在 Paddle inference 中，如果配置 paddle.inference.Config.enable_use_gpu() 能够启动 GPU 推理，但是我们在启动 config.enable_profile() 的时候发现 CPU 和 GPU 之前存在不少通信，有一些变量也会放在 CPU 上，所以有没有一种方法强制在 paddle inference 将所有计算节点与参数都放在 GPU 上？ 部分性能 profile: ```python...