Qishan zhu

nice code! but it seems that you miss the length of the data in the calculation of the data log-likelihood, it should be `0.5 * len(predict_y)*log_gamma - 0.5 * tf.exp(log_gamma)...

> 推理很慢！！！如何利用gpu进行推理？？？？ > > ```python > pipeline = pipeline(Tasks.faq_question_answering, 'damo/nlp_mgimn_faq-question-answering_chinese-base', > model_revision="v1.0.0", device='gpu') > ``` > > 虽然打印设备显示是 gpu ，但是貌似不支持gpu推理，还没有用cpu快。 本地测试，该pipeline默认使用gpu进行推理（您可以不加device='gpu'），gpu推理速度比cpu快（大约是cpu推理速度的十几倍，数据可能因设备差异有出入）。出现gpu推理比cpu推理慢的情况，可能和首次使用该模型时下载模型文件等因素有关，或者pipeline初始化被嵌入到了循环中。 我也遇到了同样的问题，pipline指定了gpu，但是模型根本没加载到gpu上,gpu根本没动 我的cuda版本是11.4，modelscope是1.9.4，torch是2.0.1

> 图片宽高多少？如果不限制图片大小的话，PP-OCRv5_server_det推理的时候显存占用很大。 我确实没有限制图片的大小，大小都不太一样，但是我理解每一张推理完之后显存都是会释放的，所以现存占用应该是是一个波动的情况，但是我现在的显存看上去一直是在增加。 现在的情况是我推理完之后用paddle.device.cuda.empty_cache()解决了 需要手动释放一下

> 这是paddle做的优化，把推理过的尺寸都存在显存里，下次再遇到相同尺寸不用重新申请空间，然而生产中这种优化是负向的。。。 合理...