PaddleMIX
PaddleMIX copied to clipboard
PaddlePaddle
🎁PaddleMIX 快乐开源活动表单
PaddleMIX 快乐开源活动
旨在鼓励更多的开发者参与到飞桨大模型套件的开源建设中，帮助社区修复 bug 或贡献 feature，加入开源、共建飞桨。
热身任务
跑通 Stable-Diffusion 的训练推理流程，通过完成本任务，可以收获对时下火热的文生图SD模型的hands on感受与理解，也可以快速上手PaddleMIX。本任务邮件通过验收后，即可获得精美的飞桨社区周边礼品，数量有限，先到先得~
mentor：@LokeZhou
参考链接：https://github.com/PaddlePaddle/PaddleMIX/issues/273
命题任务
命题任务是我们总结整理大模型套件的需求得出，每个任务上标注了任务难度，大家可以选择参与。欢迎对这些需求感兴趣的开发者参与到这些任务的开发✌️✌️。在开发过程中，你能进行包括任务分解、代码撰写等工作，还会有飞桨的研发全程和你一起解决可能遇到的问题。还等什么，快来参与吧。🎉🎉
-
做任务流程：
- 在本条Issue页面进行报名。
- 完成任务后，在任务对应tracking issue页面回复完成，飞桨研发同学验收通过后即视作完成，并在当天更新任务完成状态。
-
任务列表
| 任务名称 | 难度 | 任务描述 | tracking issue | mentor |
|---|---|---|---|---|
| 新增模型vits-svc模型 | 🌟🌟 | vits-svc支持是歌声转换和歌声克隆 | PaddleMIX#251 | @LokeZhou |
| 新增grounding_dion微调能力 | 🌟🌟 | Grounding_dino是开放集合的目标检测模型，paddlemix已实现前向推理 | PaddleMIX#254 | @LokeZhou |
| 新增人像美肤模型 | 🌟 | 人像美肤模型可用于对图像中的人体皮肤进行处理，实现匀肤（处理痘印、肤色不均等）、去瑕疵（脂肪粒、斑点、痣等）以及美白等功能。模型仅对裸露的皮肤进行修饰美化，不影响其他区域。当前Paddle仓库中缺少关于人脸美肤的能力，因此需要开发者进行添加 | PaddleMIX#255 | @LokeZhou |
| Custom Diffusion 训练支持 | 🌟🌟 | PaddleMIX PPDiffusers新增custom_diffusion训练流程 | PaddleMIX#267 | @LokeZhou |
| wuerstchen 训练支持 | 🌟🌟 | PaddleMIX PPDiffusers新增wuerstchen训练流程 | PaddleMIX#269 | @LokeZhou |
| instruct_pix2pix 训练支持 | 🌟🌟 | PaddleMIX PPDiffusers新增instruct_pix2pix训练流程 | PaddleMIX#270 | @LokeZhou |
| 新增模型Hotshot-XL | 🌟🌟 | Hotshot-XL是一个text-to-GIF模型， 可以与SDXL、ControlNet兼容工作 | PaddleMIX#411 | @LokeZhou |
| 新增模型VideoCrafter | 🌟🌟 | VideoCrafter是一个用于制作视频内容的开源视频生成和编辑工具箱，目前支持Text2Video和Image2Video两个任务 | PaddleMIX#412 | @LokeZhou |
| 新增模型GPT-SoVITS模型 | 🌟🌟 | GPT-SoVITS支持是语音合成（音色克隆） | PaddleMIX#417 | @LokeZhou |
| 新增模型open-sora | 🌟🌟 | 文生视频模型 | PaddleMIX#487 | @LokeZhou |
奖励
🌟 200 京东卡 （或同价值礼品） 🌟🌟 500 京东卡 （或同价值礼品）
已结项的任务
| 任务名称 | 难度 | 结项时间 | tracking issue | 结项同学 |
|---|---|---|---|---|
| Checkpoint Merger | 🌟 | 2024/3/27 | PaddleMIX#271 | @InsaneOnion |
| Stable Diffusion XL Long Weighted Prompt Pipeline | 🌟 | 2024/3/22 | PaddleMIX#413 | @co63oc |
GPT-SoVITS这个难度不合理，这个仓库用到了基于pytorch的框架lightning，想要迁移这个项目要么自己重写训练代码要么就像我之前一样把整个lightning项目都迁移过来…… 再怎么说GPT-SoVITS这个任务的难度也要比vits-svc这个高，因为svc不论是哪个版本都没用lightning……迁移难度也要少很多 而且svc目前公认的应该是svc4或者svc4.1，仓库地址是https://github.com/svc-develop-team/so-vits-svc ，而不是倦老师那个svc5……
GPT-SoVITS这个难度不合理，这个仓库用到了基于pytorch的框架lightning，想要迁移这个项目要么自己重写训练代码要么就像我之前一样把整个lightning项目都迁移过来…… 再怎么说GPT-SoVITS这个任务的难度也要比vits-svc这个高，因为svc不论是哪个版本都没用lightning……迁移难度也要少很多 而且svc目前公认的应该是svc4或者svc4.1，仓库地址是https://github.com/svc-develop-team/so-vits-svc ，而不是倦老师那个svc5……
但从训练的效果和推理速度来看，sovit5似乎都会比sovits4好些
GPT-SoVITS这个难度不合理，这个仓库用到了基于pytorch的框架lightning，想要迁移这个项目要么自己重写训练代码要么就像我之前一样把整个lightning项目都迁移过来…… 再怎么说GPT-SoVITS这个任务的难度也要比vits-svc这个高，因为svc不论是哪个版本都没用lightning……迁移难度也要少很多 而且svc目前公认的应该是svc4或者svc4.1，仓库地址是https://github.com/svc-develop-team/so-vits-svc ，而不是倦老师那个svc5……
但从训练的效果和推理速度来看，sovit5似乎都会比sovits4好些
实际上，在你发出了这个回复之后，我就立刻去联系了多位在SVC和SVS领域内的玩家。经过讨论整理，我发现不使用svc5而是svc4.1甚至是svc4的原因有以下几点： 1.倦某所创造的svc5，本质上还是svc3，之所以起svc5这个名字，完全是为了蹭热度。倦某所谓的svc5在性能上更是没有可比性的。 2.倦某及其svc5应当被抵制。不应当对一个软件的开发者开盒这是大家公认的最基本的道理，但是倦某对全体svc开发者进行了开盒之后，还进行了学术上的剽窃。如果你们坚持迁移svc5到paddlemix上面，恐怕项目迁移的再成功也会被社区集体抵制，对于paddlemix而言这更是在招黑。 3.并不是版本越高，svc的效果就会越好。一般而言svc的版本越高综合性能是越好的，但是对于某些特定的数据集（根据已知的测试来看包括经过筛选的东洋雪莲数据集）而言，svc4.1训练出来的模型推理结果会有杂音，这就导致这部分数据集仍然使用svc4。
还有啊……svc在ai studio上面已经有项目了……真的有必要在paddlemix里面再掺和进去吗……
