lite.ai.toolkit
lite.ai.toolkit copied to clipboard
DefTruth
👉公告: Mac/Linux/Windows/Android预编译库计划
2022/02/23 公告: 预编译库计划
由于使用这个库的人突然多了起来，这是我没想到的，之前只是想自己写着玩的，所以预编译库和源码编译的文档做的还不是很完善。已经陆陆续续有同学在催了，还有位兄弟等了将近半年 ....... 实在是让我开始有点良心难安啊😂，因为平时工作比较忙，所以这个库的一些计划被搁置了。我是没想到会有那么多人想用😂，已经在安排各个操作系统的prebuilt了，windows、mac和linux的预计会在这几个礼拜放出来，到时可以直接下载使用了；android的会稍晚点; 另外一个python版本的lite.ai.toolkit也在来的路上了，到时可以通过pip直接安装。
预编译计划(pre-built plan)
- [ ] 2022/02/29: MacOS下的lite.ai.toolkit预编译库
- [ ] 2022/03/07: Linux下的lite.ai.toolkit预编译库
- [ ] 2022/03/15: Windows10下的lite.ai.toolkit预编译库
- [ ] 2022/04/15: Android下的lite.ai.toolkit预编译库
完成: 预编译计划 MacOS系统 v0.1.1版本 (prebuilt plan)
- [x] 2022/02/29 MacOS下的lite.ai.toolkit预编译库(点击下载)
- [x] lite0.1.1-osx10.15.x-ocv4.5.2-ffmpeg4.2.2-onnxruntime1.7.0.zip
- [x] lite0.1.1-osx10.15.x-ocv4.5.2-ffmpeg4.2.2-onnxruntime1.8.1.zip
- [x] lite0.1.1-osx10.15.x-ocv4.5.2-ffmpeg4.2.2-onnxruntime1.9.0.zip
- [x] lite0.1.1-osx10.15.x-ocv4.5.2-ffmpeg4.2.2-onnxruntime1.10.0.zip
- [x] lite0.1.1-osx10.15.x-ocv4.5.2-ffmpeg4.2.2-onnxruntime1.7.0-mnn1.2.0-ncnn1.0.21-tnn0.3.0.zip
完成: 预编译计划 Linux系统 v0.1.1版本 (prebuilt plan)
- [x] 2022/03/07 Linux下的lite.ai.toolkit预编译库(点击下载)
Python版本开发计划
- [ ] 2022/04/30: pylitex-v0.1.0 版本
🤣，啊，失策了，没想到你们都是在windows上玩🤦，我实在是太久没碰windows了，一直在linux和mac上开发。其他小伙伴已经在windows上玩起来了，请看这 ：
- 👉 #6
- 👉 #10
- 👉 #32
🤦既然大家都想要windows下的教程，我决定下周末来尝试填这个坑了。
能否参考MNN的说明文档那样，https://www.yuque.com/mnn/cn/build_windows 稍微组织下Windows下的部署门槛？
能否参考MNN的说明文档那样，https://www.yuque.com/mnn/cn/build_windows 稍微组织下Windows下的部署门槛？
首先感谢您的建议❤️~ 工作日比较忙，周末再搞一下。恐怕很难弄的和MNN这些这么专业。之后会直接放一个在windows10下编译好的动态库出来。暂且先把这个项目看成是许多模型C++推理的工程样例集合吧，你可以抠出与你任务相关的例子来魔改，应该很容易就能用到新任务或新模型上，比如 #50 。或者，你可以先看下上面贴的几个讨论和中文版文档，看看能否先玩起来。
你好 有个问题请教 我跑起来了抠图的demo 但是非常非常非常非常慢 20秒的视频 扣一次要15分钟 才能输出最终文件 有可能是哪里不对呢
如果是在CPU跑的话是比较慢的，而且也和视频分辨率相关，分辨率越高速度越慢。CPU达不到实时，你可以下RVM的论文，里面有提到需要GPU才可能实时
你好 有个问题请教 我跑起来了抠图的demo 但是非常非常非常非常慢 20秒的视频 扣一次要15分钟 才能输出最终文件 有可能是哪里不对呢
如果是在CPU跑的话是比较慢的，而且也和视频分辨率相关，分辨率越高速度越慢。CPU达不到实时，你可以下RVM的论文，里面有提到需要GPU才可能实时
好的 谢谢
你好 有个问题请教 我跑起来了抠图的demo 但是非常非常非常非常慢 20秒的视频 扣一次要15分钟 才能输出最终文件 有可能是哪里不对呢
如果是在CPU跑的话是比较慢的，而且也和视频分辨率相关，分辨率越高速度越慢。CPU达不到实时，你可以下RVM的论文，里面有提到需要GPU才可能实时
好的 谢谢
还是希望您看下 我打印的一帧耗费的时间是2-3S 的样子 这样正常嘛 即使是cpu渲染的话
你好 有个问题请教 我跑起来了抠图的demo 但是非常非常非常非常慢 20秒的视频 扣一次要15分钟 才能输出最终文件 有可能是哪里不对呢
如果是在CPU跑的话是比较慢的，而且也和视频分辨率相关，分辨率越高速度越慢。CPU达不到实时，你可以下RVM的论文，里面有提到需要GPU才可能实时
另外 看到您之前在#10里面的讨论 问题是关于gpu的 最后看到二位讨论到了cuda 意思是我必须使用N卡 才能使用gpu渲染 是嘛 A卡或者核显这些都将是龟速的？ 不好意思 刚接触这些 多有打扰
你好 有个问题请教 我跑起来了抠图的demo 但是非常非常非常非常慢 20秒的视频 扣一次要15分钟 才能输出最终文件 有可能是哪里不对呢
如果是在CPU跑的话是比较慢的，而且也和视频分辨率相关，分辨率越高速度越慢。CPU达不到实时，你可以下RVM的论文，里面有提到需要GPU才可能实时
另外 看到您之前在#10里面的讨论 问题是关于gpu的 最后看到二位讨论到了cuda 意思是我必须使用N卡 才能使用gpu渲染 是嘛 A卡或者核显这些都将是龟速的？ 不好意思 刚接触这些 多有打扰
A卡不太清楚onnxruntime是否支持，N卡是支持的，另外，如果是在CPU上跑确实是比较慢的，但你可以尝试把num_threads设置成8或者更大看看有没有帮助。还有就是，如果你的视频分辨率超过1k，用CPU会很慢。
你好 有个问题请教 我跑起来了抠图的demo 但是非常非常非常非常慢 20秒的视频 扣一次要15分钟 才能输出最终文件 有可能是哪里不对呢
如果是在CPU跑的话是比较慢的，而且也和视频分辨率相关，分辨率越高速度越慢。CPU达不到实时，你可以下RVM的论文，里面有提到需要GPU才可能实时
另外 看到您之前在#10里面的讨论 问题是关于gpu的 最后看到二位讨论到了cuda 意思是我必须使用N卡 才能使用gpu渲染 是嘛 A卡或者核显这些都将是龟速的？ 不好意思 刚接触这些 多有打扰
A卡不太清楚onnxruntime是否支持，N卡是支持的，另外，如果是在CPU上跑确实是比较慢的，但你可以尝试把num_threads设置成8或者更大看看有没有帮助。还有就是，如果你的视频分辨率超过1k，用CPU会很慢。
OK 感谢 ！
你好 有个问题请教 我跑起来了抠图的demo 但是非常非常非常非常慢 20秒的视频 扣一次要15分钟 才能输出最终文件 有可能是哪里不对呢
如果是在CPU跑的话是比较慢的，而且也和视频分辨率相关，分辨率越高速度越慢。CPU达不到实时，你可以下RVM的论文，里面有提到需要GPU才可能实时
另外 看到您之前在#10里面的讨论 问题是关于gpu的 最后看到二位讨论到了cuda 意思是我必须使用N卡 才能使用gpu渲染 是嘛 A卡或者核显这些都将是龟速的？ 不好意思 刚接触这些 多有打扰
A卡不太清楚onnxruntime是否支持，N卡是支持的，另外，如果是在CPU上跑确实是比较慢的，但你可以尝试把num_threads设置成8或者更大看看有没有帮助。还有就是，如果你的视频分辨率超过1k，用CPU会很慢。
OK 感谢 ！
我想在generate_matting中 让最后的merge_mat中 绿色 的部分改为透明 您可以提点一下么
@hmk2012 你直接用输出的fgr_mat和pha_mat值就好了，pha_mat保存的就是alpha透明度，fgr_mat保存的就是前景。
content.pha_mat = pmat;
cv::merge(fgr_channel_mats, content.fgr_mat);
cv::merge(merge_channel_mats, content.merge_mat);
可以看下我另一个项目里的文档说明: https://github.com/DefTruth/RobustVideoMatting.lite.ai.toolkit
@hmk2012 你直接用输出的fgr_mat和pha_mat值就好了，pha_mat保存的就是alpha透明度，fgr_mat保存的就是前景。
content.pha_mat = pmat; cv::merge(fgr_channel_mats, content.fgr_mat); cv::merge(merge_channel_mats, content.merge_mat);可以看下我另一个项目里的文档说明: https://github.com/DefTruth/RobustVideoMatting.lite.ai.toolkit
好的 这就去瞅瞅 谢啦~
我是把单个项目拿出来放到自己的工程中编译 哪里报错改哪里
---原始邮件--- 发件人: @.> 发送时间: 2022年2月4日(周五) 凌晨0:34 收件人: @.>; 抄送: @.@.>; 主题: Re: [DefTruth/lite.ai.toolkit] 能否出一个Windows上完整安装初始环境的教程？ (#48)
现在有win10 下编译的教程吗？
— Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android. You are receiving this because you were mentioned.Message ID: @.***>
C++小白搞不定相互依赖的openvc等环境，求小白教程
您好，您win10部署成功了吗。。
至今没有成功，c++学完了，可是相互依赖始终搞不定，这种底层语言不像python、go或npm包，引入特别繁琐且不易成功
opencv那些 你照版主的方法就行了 你用vs还是什么 我用的qtcreator
---原始邮件--- 发件人: @.> 发送时间: 2022年2月23日(周三) 晚上6:10 收件人: @.>; 抄送: @.@.>; 主题: Re: [DefTruth/lite.ai.toolkit] 能否出一个Windows上完整安装初始环境的教程？ (#48)
C++小白搞不定相互依赖的openvc等环境，求小白教程
您好，您win10部署成功了吗。。
至今没有成功，c++学完了，可是相互依赖始终搞不定，这种底层语言不像python、go或npm包，引入特别繁琐且不易成功
— Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android. You are receiving this because you were mentioned.Message ID: @.***>
目前的帮助文档非常不友好，windows下编译的最小demo步骤都没有。跪求最小复现步骤啊，都快4个月了还运行不起来
跪求vscode+g++最小可复现DEMO。
行吧，被大家催得我都良心不安了，我是没想到会有那么多人想用😂已经在安排各个操作系统的prebuilt了，windows、mac和linux的预计会在这两个礼拜放出来，到时可以不用编译直接使用了；android的会稍晚点
呃 最近都不在家 你要不是工作上比较着急的话 3月份回家后 我可以发你工程
---原始邮件--- 发件人: @.> 发送时间: 2022年2月23日(周三) 晚上6:41 收件人: @.>; 抄送: @.@.>; 主题: Re: [DefTruth/lite.ai.toolkit] 能否出一个Windows上完整安装初始环境的教程？ (#48)
目前的帮助文档非常不友好，windows下编译的最小demo步骤都没有。跪求最小复现步骤啊，都快4个月了还运行不起来
— Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android. You are receiving this because you were mentioned.Message ID: @.***>
2022/02/29: MacOS下的lite.ai.toolkit预编译库 2022/03/07: Linux下的lite.ai.toolkit预编译库 2022/03/15: Windows10下的lite.ai.toolkit预编译库 2022/04/15: Android下的lite.ai.toolkit预编译库 建议把windows排在首位，因为macos看文档是可以直接跑起来的，linux用的人非常少，大多数人用的还是windows设备，强烈建议优先编译windows
2022/02/23 公告: 预编译库计划
由于使用这个库的人突然多了起来，这是我没想到的，之前只是想自己写着玩的，所以预编译库和源码编译的文档做的还不是很完善。已经陆陆续续有同学在催了，还有位兄弟等了将近半年 ....... 实在是让我开始有点良心难安啊😂，因为平时工作比较忙，所以这个库的一些计划被搁置了。我是没想到会有那么多人想用😂，已经在安排各个操作系统的prebuilt了，windows、mac和linux的预计会在这几个礼拜放出来，到时可以直接下载使用了；android的会稍晚点; 另外一个python版本的lite.ai.toolkit也在来的路上了，到时可以通过pip直接安装。
预编译计划(pre-built plan)
- [ ] 2022/02/29: MacOS下的lite.ai.toolkit预编译库
- [ ] 2022/03/07: Linux下的lite.ai.toolkit预编译库
- [ ] 2022/03/15: Windows10下的lite.ai.toolkit预编译库
- [ ] 2022/04/15: Android下的lite.ai.toolkit预编译库
完成: 预编译计划 MacOS系统 v0.1.1版本 (prebuilt plan)
[x] 2022/02/29 MacOS下的lite.ai.toolkit预编译库(点击下载)
- [x] lite0.1.1-osx10.15.x-ocv4.5.2-ffmpeg4.2.2-onnxruntime1.7.0.zip
- [x] lite0.1.1-osx10.15.x-ocv4.5.2-ffmpeg4.2.2-onnxruntime1.8.1.zip
- [x] lite0.1.1-osx10.15.x-ocv4.5.2-ffmpeg4.2.2-onnxruntime1.9.0.zip
- [x] lite0.1.1-osx10.15.x-ocv4.5.2-ffmpeg4.2.2-onnxruntime1.10.0.zip
- [x] lite0.1.1-osx10.15.x-ocv4.5.2-ffmpeg4.2.2-onnxruntime1.7.0-mnn1.2.0-ncnn1.0.21-tnn0.3.0.zip
完成: 预编译计划 Linux系统 v0.1.1版本 (prebuilt plan)
[x] 2022/03/07 Linux下的lite.ai.toolkit预编译库(点击下载)
Python版本开发计划
- [ ] 2022/04/30: pylitex-v0.1.0 版本
🤣，啊，失策了，没想到你们都是在windows上玩🤦，我实在是太久没碰windows了，一直在linux和mac上开发。其他小伙伴已经在windows上玩起来了，请看这 ：
🤦既然大家都想要windows下的教程，我决定下周末来尝试填这个坑了。
太感谢了！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！
催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！
催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！催更Windows！！
很抱歉，手上没有windows的电脑，所以windows的预编译计划不知道会推迟到什么时候，可能等我什么时候有windows电脑的时候吧。可以考虑使用mac和linux的版本。如果确实想用windows版本的话，可以参考： #207 的文档进行配置。
@DefTruth 社区就不能完成预编译任务吗？快半年了，c++的预编译真的难于上青天吗？能否使用github的workflow自动完成预编译呢？再不行能否求助社区小伙伴帮忙呢？
@DefTruth c++项目使用GitHub Action自动编译多端 https://gist.github.com/NickNaso/0d478f1481686d5bcc868cac06620a60 可以参考这个实现GitHub Action自动编译，只需一次设置，后面所有过程全都自动化完成。
@DefTruth 社区就不能完成预编译任务吗？快半年了，c++的预编译真的难于上青天吗？能否使用github的workflow自动完成预编译呢？再不行能否求助社区小伙伴帮忙呢？
很抱歉~ 因为这是一个个人业余的开源项目，我并没有从这个开源项目中获取任何的收入来源，所以也不太可能为了这件事花费一笔钱去购买windows的电脑，也不打算在自己的电脑上安装windows虚机。这些c++工程都是我在做算法研究时顺便写下的，我并不是专门做推理引擎或跨平台开发的，只是由于有些热情，所以便整理了一下自己业余写的代码。我主要研究计算机视觉和虚拟人相关的算法，平时的工作压力也很大，所以这个开源项目也只能尽量维护，不可能做到十全十美。不是因为c++的预编译难于上青天，而是因为个人的精力实在有限。所以如果您急需要用到现成的工具和库，我比较推荐您使用比较成熟的mediapipe，tenginekit或MNN/TNN/NCNN本身自带的demo模型。或者您这可以找熟悉推理引擎的同事，编译这个库对他们来说是一件很简单的事。
@hmk2012 你直接用输出的fgr_mat和pha_mat值就好了，pha_mat保存的就是alpha透明度，fgr_mat保存的就是前景。
content.pha_mat = pmat; cv::merge(fgr_channel_mats, content.fgr_mat); cv::merge(merge_channel_mats, content.merge_mat);可以看下我另一个项目里的文档说明: https://github.com/DefTruth/RobustVideoMatting.lite.ai.toolkit
好的 这就去瞅瞅 谢啦~
请问您修改成功了嘛，我也在尝试修改但是修改不成功T ^ T
说实话，很敬佩作者的开源精神，现在内卷这么严重，还能抽出精力来维护这个项目，相当不容易了；但是看到大部分人只是想白嫖。那些催更windows的，希望你能理解作者只是业余时间，作者也说了不会为了编译windwos而去购买一台windows电脑，你们等那么久就不能众筹一台windows电脑给作者过去么？😄
说实话，很敬佩作者的开源精神，现在内卷这么严重，还能抽出精力来维护这个项目，相当不容易了；但是看到大部分人只是想白嫖。那些催更windows的，希望你能理解作者只是业余时间，作者也说了不会为了编译windwos而去购买一台windows电脑，你们等那么久就不能众筹一台windows电脑给作者过去么？😄
！！！天啊！！！感谢小伙伴的理解！！！一起努力卷✋，这个开源项目还是会一直维护，只是个人的精力确实是有限的，很多东西没有办法一步到位哈哈，特定平台兼容就只能留给需要的同学自己去摸索了。