RobustVideoMatting
RobustVideoMatting copied to clipboard
PeterL1n
手机移动端开销及其优化问题
rvm引入rec，处理视频流是个不错的方法，但在手机上部署，目前开销有点大，内存开销：MNN部署1080p s0.25的模型，需要380m内存， coreml也需要300m左右，推理速度也不太够，提出以下几个优化问题： 1.rec目前是r1/r2/r3/r4四层，这个可以减到两层或三层吗？ 2.如果只处理低分辨率视频(或图片)，是不是可以删除DGF？
第二个感觉是可行的，DGF对于高分辨率的效果有提升，对低分辩率性价比感觉不太高。 处理图片，rec也可以砍掉了。
要处理视频，所以rec减少不知道对结果影响多大
@PeterL1n 大佬能提点优化建议吗？ 除了以上内存开销和模型裁切压缩等问题，我发现： 1.对于存在转场的视频，rec更影响结果，导致更差一点； 2.导出w x h = 1920 x 1080的模型，对于处理w x h = 1080 x 1920的视频，效果没有跟模型宽高比一致的视频好； 3.影子去不掉，这种case比较难，有什么优化建议么；
rvm引入rec，处理视频流是个不错的方法，但在手机上部署，目前开销有点大，内存开销：MNN部署1080p s0.25的模型，需要380m内存， coreml也需要300m左右，推理速度也不太够，提出以下几个优化问题： 1.rec目前是r1/r2/r3/r4四层，这个可以减到两层或三层吗？ 2.如果只处理低分辨率视频(或图片)，是不是可以删除DGF？
大佬有在ios上部署过嘛，想知道在iPhone上的运行时间大概是多少。
rvm引入rec，处理视频流是个不错的方法，但在手机上部署，目前开销有点大，内存开销：MNN部署1080p s0.25的模型，需要380m内存， coreml也需要300m左右，推理速度也不太够，提出以下几个优化问题： 1.rec目前是r1/r2/r3/r4四层，这个可以减到两层或三层吗？ 2.如果只处理低分辨率视频(或图片)，是不是可以删除DGF？
大佬有在ios上部署过嘛，想知道在iPhone上的运行时间大概是多少。
原版rvm只能用metal，不能用ane跑，iphone12上面(1920x1080 scale=0.25)要180ms-200ms
