megemini comments

Results 108 comments of


                                            megemini

x2paddle转换yolov5后推理报错

https://github.com/PaddlePaddle/X2Paddle/pull/1099 增加了 yolov5 的转换测试～可以看一下这个 PR ～拉取一下最新的 develop 版本的 X2Paddle 然后试一下～不过，转换的时候注意，要先 `torch.jit.trace` 一遍，然后再用 api 转换～上面这个 PR 都有说明～ > 请问你解决了吗?以及转换完之后是如何进行推理呢？推理可以参考 `pd_infer.py` 这个文件。`test_benchmark/PyTorch/yolov5/pd_model_trace` 里面也有转换之后的模型结构代码...

【Hackathon 7th PPSCI No.12】Adam、AdamW 优化器支持 amsgrad -part

> 添加的ams_grad是否会影响原有的代码执行逻辑和存储空间占用情况？PR的代码起来无论是否开启ams_grad，都会比原先没有amsgrad的代码多申请一段mom2_max的空间，以及有一些多余的变量产生。这个之前考虑过，主要是因为，目前涉及到 amsgrad 的地方太多了，所以优化相关的事情想先往后放一下～那我现在改一下试试吧～

【Hackathon 7th PPSCI No.12】Adam、AdamW 优化器支持 amsgrad -part

### Update 20240911 进行以下测试： - 测试新代码（带有 amsgrad 选项）与旧代码（不带有 amsgrad 选项） - 测试开启 amsgrad 与不开启 amsgrad 测试环境： - 新代码：本机测试 - 旧代码：AIStudio 中测试（安装最新的开发版本）测试代码 ``` python import argparse import numpy as np...

【Hackathon 7th PPSCI No.12】Adam、AdamW 优化器支持 amsgrad -part

目前有个问题，paddle/phi/infermeta/multiary.h 和 paddle/phi/infermeta/multiary.cc 这两个文件中，不能使用 paddle::optional 的 moment2_max，如 ``` c++ void AdamInferMeta(const MetaTensor& param, const MetaTensor& grad, const MetaTensor& learning_rate, const MetaTensor& moment1, const MetaTensor& moment2, const MetaTensor& moment2_max, const MetaTensor&...

【Hackathon 7th PPSCI No.12】Adam、AdamW 优化器支持 amsgrad -part

> 第二个batch显存达到峰值是符合预期的想要请教一下，这个都涉及到哪些地方？谢谢！！！目前是第一个 batch 是一致的，第二个 batch 会多出来 9 MB ... ... --- 找到一篇文章 https://pytorch.org/blog/understanding-gpu-memory-1/?hss_channel=lcp-78618366

【Hackathon 7th PPSCI No.12】Adam、AdamW 优化器支持 amsgrad -part

@HydrogenSulfate `这多出来的9MB` 破案了，应该是环境的原因，显卡或者说 cuda cudnn 版本不同～我在本机也安装了最新的开发版，跑出来的显存跟之前编译过 amsgrad 的一样： ``` python > python -m test_amsgrad_memory --model=resnet50 ------------------------------ amsgrad is: False W0911 21:42:50.726809 121043 gpu_resources.cc:96] The GPU architecture in your...

【Hackathon 7th PPSCI No.12】Adam、AdamW 优化器支持 amsgrad -part

> 全0的BUG输出之前出现过，在2.6.1+某种环境下，不只是adam，而是任意的API结果都是全0张量，你可以尝试下 ``` python In [1]: import paddle In [2]: a = paddle.to_tensor(123) In [3]: a Out[3]: Tensor(shape=[], dtype=int64, place=Place(gpu:0), stop_gradient=True, 123) In [4]: b = paddle.to_tensor(33) In [5]: a...