DOPMC
DOPMC copied to clipboard
Published
20 hours ago •
datawhalechina
datawhalechina
hugging-sd
你是否已经阅读并同意《Datawhale开源项目指南》？
- [X] 我已阅读并同意《Datawhale开源项目指南》
你是否已经阅读并同意《Datawhale开源项目行为准则》？
- [X] 我已阅读并同意《Datawhale开源项目行为准则》
项目简介
受到HuggingLLM项目的启发，本项目想介绍以stable-diffusion为代表的视觉生成大模型的原理、使用和应用，降低使用门槛，让更多感兴趣的非专业人士能够无障碍使用SD创造价值。
立项理由
以stable-diffusion为代表的视觉生成大模型正在深刻改变视觉领域中的上下游任务（包括二维和三维）。甚至正在改变许多产业，比如绘画、3D建模、影视、游戏等等。我们想借这个项目将SD介绍给更多的人，尤其是对此感兴趣、想利用相关技术做一些新产品或应用的朋友。希望新的技术能够促进行业更快更好发展，提高人们工作效率和生活质量。AI for humans!
项目受众
项目适合以下人员：
- 学生。希望通过学习相关技术，或是开发新应用，或是入门视觉生成式大模型，或是结合其他行业做AI for science的研究等。
- 相关或非相关行业从业者。对stable-diffusion或视觉生成大模型感兴趣，希望在实际中运用该技术创造提供新的服务或解决已有问题。
项目不适合以下人员：
- 研究其底层算法细节，比如DDPM数学推导、讨论SDS / SJC VSD等。
- 对其他技术细节感兴趣。
项目亮点
聚焦于如何使用stable-diffusion API创造新的功能和应用（二维和三维）。 提供示例代码和使用流程。
项目规划
二维视觉
- stable-diffusion原理简介
- 介绍midjourney sd dall-e imagen等主流视觉生成大模型
- ddpm算法
- stable-diffusion使用指南
- 提示词
- 文生图
- 图生图
- 反推与细节优化
- LoRA与controlnet
- sdxl1.0与应用
三维视觉
- 三维视觉原理
- 介绍背景和应用（prolificdreamer magic3d ）
- NeRF神经辐射场
- Dreamfusion原理
- 几何与纹理生成
- 三维视觉应用
- blender软件使用简介
- 趣味应用举例（建模自己的手办并3d打印..）
目前局限
- 二维生成：版权等
- 三维生成：质量有待提升、生成时间长、渲染速度慢等
商业与发展前景
- 背景
- 行业应用
- 二维场景：营销作图、游戏作画、美图工具等
- 三维场景：游戏、电影、虚拟资产、vision pro内容等
项目负责人
微信：superjie0618 GitHub: https://github.com/datawhalechina/hugging-sd
备注：发起立项申请后DOPMC将会在 72h 之内给出答复，如超时未答复请添加DOPMC负责人微信（微信号：at-Sm1les）问询~
- [X] 我已知悉上述备注
同意，可结合huggingface的书搭配起来
哇 那很棒！ huggingface的书 目前好像没有对应的github教程吧？那是不是项目规划中很多内容得修改和扩展？估计得需要大家讨论
同意，但大纲写太浅，比如lora和controlnet是否需要提到？如何自定风格？
嗯嗯好的 是还要进一步细化和完善内容，后面可能会找一些同学一起来做
