咨询下 版本目前支持gpu加速吗
如题
暂不支持哦。GPU兼容性差,适配起来比较麻烦,发行包的体积也大很多,所以开发的优先级不高。
目前使用高度优化的推理引擎和轻量模型库,在CPU较新的家用电脑上都能达到不慢的计算速度。对于普通用户日常使用是足够的。未来会考虑补充支持GPU加速的引擎插件,以满足专业用户的需求。
我尝试了一下paddleOCR的GPU模型,能给出的一部分结论是这样的 1.paddleOCR安装相对来说应该是最简单的一批,只需要pip install即可,但是即使这样,也要先行下载安装CUDA和cudnn(paddle好像没有对A卡)。对于普通用户所用的发行版来说,这两个发行起来没有必要。并且每个人显卡配置不同,所用到的CUDA版本还会有差异。如果要发行只能让用户自行安装。 2.即使不考虑前置安装,光pip install所需要安装的包就有数十个。意味着哪怕单独做出插件,其发行包很有可能也会1G起步(没有经过任何删减的site-packages为2.43GB)。同样还是作者所说的发行包体积问题。 3.根据测试,paddleOCR的GPU模型在开始工作之前有个固定70秒左右的预加载时间,意味着在处理少量文件的时候,GPU并非最优选项。而面对大量图片数据(400页PDF,采用fitz进行图片分割与直接处理)的时候,GPU稳定速率为0.4s/张。在RTX4070 Laptop上占用为10%。 4.有兴趣的话要不要来和我一起做适配(?)
暂不支持哦。GPU兼容性差,适配起来比较麻烦,发行包的体积也大很多,所以开发的优先级不高。
目前使用高度优化的推理引擎和轻量模型库,在CPU较新的家用电脑上都能达到不慢的计算速度。对于普通用户日常使用是足够的。未来会考虑补充支持GPU加速的引擎插件,以满足专业用户的需求。
AI时代来临,以后可能AI PC会越来越多。对于多页pdf批处理,涉及图像,会比较彰显GPU的加速作用。 建议考虑,多谢,作者辛苦了!