chenjjcccc
chenjjcccc
# Custom Diffusion 训练支持 ## 任务描述 ### 任务背景 - PaddleMIX ppdiffusers新增custom_diffusion训练流程。 ### 完成步骤 1. 参考[代码](https://github.com/huggingface/diffusers/tree/main/examples/custom_diffusion)完成对齐 ### 提交内容： 1. 提交到[目录](https://github.com/PaddlePaddle/PaddleMIX/tree/develop/ppdiffusers/examples)
# cogVLM模型复现向前推理 ## 任务描述 ### 任务背景 - CogVLM 是一个强大的开源视觉语言模型，利用视觉专家模块深度整合语言编码和视觉编码，在10项权威跨模态基准上取得了SOTA性能 ### 完成步骤 1. 模型、代码已经开源。 2. 根据开源代码进行网络结构转换，**前向推理**。[代码链接](https://github.com/THUDM/CogVLM)。 3. 要求输入相同的图像与prompt，效果与[web demo（测试网址)](http://36.103.203.44:7861/)相当。 4. 提交代码PR到[PaddleMIX](https://github.com/PaddlePaddle/PaddleMIX/tree/develop)。 ### 提交内容： 1. 模型脚本提交到paddlemix/models。 2. 推理脚本提交到paddlemix/examples。
# 新增模型vits-svc模型 ## 任务描述 ### 任务背景 - vits-svc支持是歌声转换和歌声克隆 ### 完成步骤 1. 模型、代码已经开源。 2. 根据开源代码进行网络结构转换，训练、推理，[代码链接](https://github.com/PlayVoice/vits-svc)。 3. 前向推理和训练跑通即可。 4. 提交代码PR到[PaddleMIX](https://github.com/PaddlePaddle/PaddleMIX/tree/develop)。 ### 提交内容： 1. 模型脚本提交到paddlemix/models。 2. 推理脚本提交到paddlemix/examples。
# 新增grounding_dion微调能力 ## 任务描述 ### 任务背景 - Grounding_dino是开放集合的目标检测模型，paddlemix已实现前向推理 ### 完成步骤 1. 模型、代码已实现。 2. 参考[grounding_dino微调](https://github.com/open-mmlab/mmdetection/blob/main/configs/grounding_dino/README.md)，基于paddlemix实现微调功能。 3. 无具体指标，在finetune数据集指标相比baseline高即可，开放性题目。 4. 提交代码PR到[PaddleMIX](https://github.com/PaddlePaddle/PaddleMIX/tree/develop)。 ### 提交内容： 1. 提交一个finetune.py脚本到paddlemix/models/groundingdino。
# 新增人像美肤模型 ## 任务描述 ### 任务背景 - 人像美肤模型可用于对图像中的人体皮肤进行处理，实现匀肤（处理痘印、肤色不均等）、去瑕疵（脂肪粒、斑点、痣等）以及美白等功能。模型仅对裸露的皮肤进行修饰美化，不影响其他区域。当前Paddle仓库中缺少关于人脸美肤的能力，因此需要开发者进行添加。 ### 完成步骤 1. 模型和代码已经开源，[代码链接](https://modelscope.cn/models/damo/cv_unet_skin_retouching_torch/summary)。 2. 根据代码进行权重以及网络结构转换。 3. 验证模型，仅要求前向推理输出结果一致。 4. 提交代码至[目录](https://github.com/PaddlePaddle/PaddleMIX/tree/develop/ppdiffusers/examples)。 ### 提交内容： 1. 模型和推理脚本。
# 新增音乐生成（Music Generation）gradio应用 ## 任务描述 ### 任务背景 - 为音乐生成应用新增gradio demo。 参考[Gradio应用介绍](https://aistudio.baidu.com/projectdetail/6536645)和 [image-to-music_AI应用-飞桨AI Studio星河社区](https://aistudio.baidu.com/application/detail/7515)。 ### 完成步骤 1. 将已接入的应用添加gradio demo，[代码链接](https://github.com/PaddlePaddle/PaddleMIX/blob/develop/applications/MusicGeneration/README.md/#%E9%9F%B3%E4%B9%90%E7%94%9F%E6%88%90music-generation)。 2. 需加入待接入的模型AudioLDM2。 3. 输入为图像，输出为音频。 ### 提交内容： 1. 脚本提交到[PaddleMix](脚本提交到PaddleMix)
# wuerstchen 训练支持 ## 任务描述 ### 任务背景 - PaddleMIX ppdiffusers新增wuerstchen训练流程。 ### 完成步骤 1. 参考[代码](https://github.com/huggingface/diffusers/tree/main/examples/wuerstchen/text_to_image)完成对齐，若缺少相应的models部分需实现并添加到ppdiffusers ### 提交内容： 1. 提交到[目录](https://github.com/PaddlePaddle/PaddleMIX/tree/develop/ppdiffusers/examples)
# instruct_pix2pix 训练支持 ## 任务描述 ### 任务背景 - PaddleMIX ppdiffusers新增instruct_pix2pix训练流程。 ### 完成步骤 1. 参考[代码](https://github.com/huggingface/diffusers/tree/main/examples/instruct_pix2pix)完成对齐 ### 提交内容： 1. 提交到[目录](https://github.com/PaddlePaddle/PaddleMIX/tree/develop/ppdiffusers/examples)
# 补充Satrn识别模型TIPC ## 任务描述 ### 任务背景 - 新增的Satrn模型缺少TIPC，完成tipc有利于上手训推全流程自动化脚本验证过程 ### 完成步骤 1. 参照[https://github.com/PaddlePaddle/PaddleOCR/pull/10843](https://github.com/PaddlePaddle/PaddleOCR/pull/10843)增加TIPC中对应的内容，并且可以跑通[test_train_inference_python.sh](https://github.com/PaddlePaddle/PaddleOCR/blob/dygraph/test_tipc/test_train_inference_python.sh)。 ### 提交内容： 1. 提交类似示例中的修改，实现Satrn模型的TIPC。