[论文复现赛]内存占用问题

[unseenme]

环境

AI Stuido 脚本任务 单机四卡 PaddleClas v2.2.0 paddle v2.1.2 GPU Compute Capability: 7.0, Driver API Version: 10.1, Runtime API Version: 10.1 cuDNN Version: 7.6 python3.7

问题概要

PaddleClas内存占用高于参考项目。

问题详情

在复现No.7 MnasNet的过程中发现： 在参考项目https://github.com/1e100/mnasnet_trainer中提到， 训练用的硬件为4x NVIDIA GTX 1080ti。 而我用同样的参数在4x V100上训练时，提示内存不足。 之后把BatchSize从740降低到692后，就可以正常训练了。

建议

增加内存优化选项。 比如，增加高速模式与省内存模式。

• 高速模式下，以训练性能为主，适合硬件配置高，追求速度的场景。

• 省内存模式下，以降低内存占用为主，适当牺牲性能，适合需要更大BatchSize，或者硬件配置较低的场景。