blog
blog copied to clipboard
WangShuXian6
stable diffusion model 模型
stable diffusion model
模型种类
不同的模型会带来不同的画风、认识不同的概念（人物/物体/动作），这是模型众多的原因。
常见的模型可以分为两大类：大模型，用于微调大模型的小型模型。 他们都可以拥有一样的后缀名 辨别模型种类 https://spell.novelai.dev/
Checkpoint/大模型/底模型/主模型
这里的大模型特指标准的 latent-diffusion 模型。拥有完整的 TextEncoder、U-Net、VAE。
小型模型
由于想要炼制、微调（finetune）大模型十分困难，需要好显卡、算力，所以更多的人选择去炼制小型模型。 这些小型模型通过作用在大模型的不同部分，来简单的修改大模型，从而达到目的。
常见的用于微调大模型的小型模型又分为以下几种： Textual inversion (常说的Embedding模型)、Hypernetwork模型、LoRA模型。
此外，还有一种叫做 VAE 的模型，通常来讲 VAE 可以看做是类似滤镜一样的东西。他会影响出图的画面的色彩和某些极其微小的细节。大模型本身里面就自带 VAE 的，但是一些融合模型的 VAE 烂掉了 （典型：Anything-v3），需要外置 VAE 的覆盖来救救。有时画面发灰就是因为这个原因。
VAE, Variational autoencoder。变分自编码器，负责将潜空间的数据转换为正常图像。
由于模型的种类不同、作用位置也不同，所以想要使用这些模型文件必须分清这些模型类别，并且正确的使用对应的方法模型才会生效
AI绘画模型后缀名
- ckpt ，2. pt ，3. pth，4. safetensors，5（特殊）webui 特殊模型保存方法：PNG、WEBP图片格式。
暂且抛开第五种不谈。这几种后缀名都是标准的模型，从后缀名是无法判断具体是哪一种类的模型。
其中，1,2,3 这三种是 pytorch的标准模型保存格式，由于使用了 Pickle，会有一定的安全风险（自行百度：pickle反序列化攻击）。 第四种为一种新型的模型格式，正如同他的名字，safe。为了解决前面的这几种模型的安全风险而出现的。safetensors 格式与 pytorch 的模型可以通过工具进行任意转换，只是保存数据的方式不同，内容数据没有任何区别。
Pytorch, 深度学习框架 https://pytorch.org/
safetensors模型 需要 webui 更新到2022年12月底以后的版本才能用
Checkpoint/大模型/底模型/主模型
大模型。常见格式为 ckpt，一个字，大。大小在GB级别，常见有 2G、4G、7G模型。
模型大小不代表模型质量
目前比较流行和常见的checkpoint模型有Anything系列（v3、v4.5、v5.0）、AbyssOrangeMix3、ChilloutMix、Deliberate、国风系列等等。 这些checkpoint模型是从Stable Diffusion基本模型训练而来的，相当于基于原生安卓系统进行的二次开发。 目前，大多数模型都是从 v1.4 或 v1.5 训练的。它们使用其他数据进行训练，以生成特定风格或对象的图像
使用方法：放在
sd-webui-aki-v4.2\models\Stable-diffusion这个文件夹内。 在 webui 左上角选择对应的模型。部分合并出来的大模型VAE烂掉了，画面会发灰，这时候需要你去设置中手动选择vae并应用保存。
不同模型在同一参数下的表现有时候可以用天差地别来形容，下面是个例子：
小型模型
Embedding (Textual inversion)
俗称的 embedding 模型。常见格式为 pt、png图片、webp图片。大小一般在 KB 级别。
使用方法：
放在
sd-webui-aki-v4.2\embeddings这个文件夹里面，生成图片的时候需要带上 文件名 作为 tag。
例如，这张图里面的 shiratama_at_2-3000.pt 这个模型，使用的时候就需要带上这个tag：
shiratama_at_2-3000
Hypernetwork
常见格式为 pt。大小一般在几十兆到几百兆不等。由于这种模型可以自定义的参数非常之多，一些离谱的 Hypernetwork 模型可以达到 GB 级别。
使用方法：放在
sd-webui-aki-v4.2\models\hypernetworks文件夹内。
旧版的时候在设置里面可以找到选项，选择对应的即可使用。
新版改版了（2023年第2周左右）使用方法如图所示
LoRA
常见格式为 pt、ckpt。大小一般在8mb~144mb不等。
使用方法：目前有两种用法。
一种是插件方式使用，参考 https://www.bilibili.com/video/BV1Py4y1d7eJ
另一种是新版本，原生支持lora。
模型需要放在
models/Lora文件夹。使用方法如图所示，点击一个模型以后会向提示词列表添加类似这么一个tag，<lora:模型名:权重>也可以直接用这个tag调用lora模型。
当下最火的微调模型，可以将某一类型的人物或者事物的风格固定下来。它们通常为10-200 MB。必须与checkpoint模型一起使用。
现在比较火的Korean Doll Likeness、Taiwan Doll Likenes、Cute Girl mix都是真人美女LoRA模型，效果很惊艳。 还有一些特定风格的LoRA也非常受欢迎，最著名的有墨心等
VAE 模型
美化模型/变分自编码器 常见格式为 .pt VAE，全名Variational autoenconder，中文叫变分自编码器。作用是：滤镜+微调。
有的大模型是会自带VAE的，比如Chilloutmix。如果再加VAE则可能画面效果不会更好，甚至适得其反。
系统自带的VAE是animevae，效果一般， 建议可以使用
kl-f8-anime2或者vae-ft-mse-840000-ema-pruned。anime2适合画二次元，840000适合画写实人物。
使用方法：将其放在 models/VAE 文件夹。
放置完毕后，在设置页面进行如下选择并保存。
模型网站
模型下载网站
| 网站 | 描述 |
|---|---|
| Civitai | 最常用的模型下载网站，但是需要魔法才可以访问。 |
| Hugging Face | 偶尔个别模型作者会发布在此网站内，极个别情况下使用。 |
类型
| 类型 | 版本 | 描述 | 链接 |
|---|---|---|---|
| 官方模型 | 1.5 | 适合生成写实类风格 | |
| NovelAI | 泄漏版 | 适合生成二次元风格 | |
| ControlNet | 3.0 | 适合生成半写实类风格 | |
| LoRA模型-P1 | 1 | 第一批LoRA热门模型 | |
| LoRA模型-P2 | 2 | 第二批LoRA热门模型 | |
| LoRA模型-P3 | 3 | 第三批LoRA热门模型 | |
| LoRA模型合集 | 0 | Trauter_LoRAs游戏模型 |
stable diffusion 官方模型
https://huggingface.co/runwayml/stable-diffusion-v1-5 Stable Diffusion的官方模型更适合绘制偏写实的风格
安装方法
将模型下载后，将会得到一个名为****.ckpt格式的文件， 将该文件剪切至你的Stable Diffusion本地安装目录，例如
\stable-diffusion-webui\models\Stable-diffusion，
详情
Stable Diffusion的官方模型V1.5与V1.4比起来，整体画面构成区别不大，色阶对比度和光源渲染提升，光源效果更加平滑合理。
本次Stable Diffusion的官方模型V1.5版本一共提供了两个模型，一个3.97GB，另一个是7.17GB。
两个模型的区别如下
绘画版｜3.97GB模型：推荐正常绘图的人使用，无需训练自己的模型。 训练版｜7.17GB模型：如果您想以该模型为基础，训练自己的模型。那么下载该模型可以得到更好的效果。
两个不同大小的模型任选其中一个下载即可，没必要两个都下载。
Stable Diffusion NovelAI 模型
https://openai.wiki/stable-diffusion-novelai-model.html
该模型为NovelAI泄漏的完整版本，Stable Diffusion WebUI可以直接调用，非常适合二次元风格角色以及场景的绘制
安装方法
将模型下载后，将会得到一个名为****.ckpt格式的文件，将该文件剪切至你的Stable Diffusion本地安装目录， 例如
stable-diffusion-webui\models\Stable-diffusion
更新详情
NovelAI的模型为官网泄漏版本，经常适应调试之后，是可以与NovelAI官网所提供的收费在线绘制效果完全一致的，而且Stable Diffusion WebUI可完美兼容NovelAI的模型与风格设置。
资源详情
NovelAI模型共计50多G，但其实真正可以用到的仅为一个7.17GB的ckpt模型即可，适用于图片绘制与训练， 另外还有一个pt后缀格式的风格化文件， 建议将两个文件下载后直接移动到模型位置即可。
| 名称 | 大小 | 功能 |
|---|---|---|
| final-pruned.ckpt | 7.17GB | 基础模型，也可以用来训练。 |
| final-pruned.vae.pt | 784MB | 可自由选择绘图风格 |
注意事项
如果您想更改文件名称，例如欲将final-pruned.ckpt更改为openAI.ckpt，那么另一个文件的名称必须为openAI.vae.pt， 为了避免不必要的麻烦，请尽量不要尝试更改文件名称。
ControlNet 模型
https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main https://github.com/lllyasviel/ControlNet
模型描述
https://huggingface.co/lllyasviel/ControlNet
| 模型 | 功能 |
|---|---|
| ControlNet/models/control_sd15_canny.pth | ControlNet+SD1.5 模型，用于使用 Canny 边缘检测来控制 SD。 |
| ControlNet/models/control_sd15_depth.pth | ControlNet+SD1.5 模型，用于使用 Midas 深度估计来控制 SD。 |
| ControlNet/models/control_sd15_hed.pth | ControlNet+SD1.5 模型，用于使用 HED 边缘检测（软边缘）来控制 SD。 |
| ControlNet/models/control_sd15_mlsd.pth | ControlNet+SD1.5 模型，用于使用 M-LSD 线检测（也可与传统霍夫变换一起使用）来控制 SD。 |
| ControlNet/models/control_sd15_normal.pth | ControlNet+SD1.5 模型，用于使用法线贴图来控制 SD。最好使用由 Gradio 应用生成的法线贴图。其他法线贴图也可能有效，只要方向正确（左边呈红色，右边呈蓝色，上方呈绿色，下方呈紫色）。 |
| ControlNet/models/control_sd15_openpose.pth | ControlNet+SD1.5 模型，用于使用 OpenPose 姿势检测来控制 SD。直接操纵姿势骨架也应该有效。 |
| ControlNet/models/control_sd15_scribble.pth | ControlNet+SD1.5 模型，用于使用人类涂鸦来控制 SD。该模型经过强大的数据增强，使用边界边缘以模拟人类绘制的边界线。 |
| ControlNet/models/control_sd15_seg.pth | ControlNet+SD1.5 模型，用于使用语义分割来控制 SD。所使用的协议是 ADE20k。 |
| ControlNet/annotator/ckpts/body_pose_model.pth | 第三方模型：Openpose 的姿势检测模型。 |
| ControlNet/annotator/ckpts/hand_pose_model.pth | 第三方模型：Openpose 的手部检测模型。 |
| ControlNet/annotator/ckpts/dpt_hybrid-midas-501f0c75.pt | 第三方模型：Midas 深度估计模型。 |
| ControlNet/annotator/ckpts/mlsd_large_512_fp32.pth | 第三方模型：M-LSD 检测模型。 |
| ControlNet/annotator/ckpts/mlsd_tiny_512_fp32.pth | 第三方模型：M-LSD 的另一个较小的检测模型（我们不使用此模型）。 |
| ControlNet/annotator/ckpts/network-bsds500.pth | 第三方模型：HED 边界检测模型。 |
| ControlNet/annotator/ckpts/upernet_global_small.pth | 第三方模型：Uniformer 语义分割模型。 |
| ControlNet/training/fill50k.zip | 用于训练教程的数据。 |
LoRA 模型
https://civitai.com/ Civitai官网的LORA标签
内容来源 https://openai.wiki/
基础模型
基础模型可以理解为一栋大楼的地基，是这一整栋大楼的根本，如果没有地基的存在，也就没有办法在上面建设每个单独的房间。
所以如果你想使用Lora生成指定的角色，那就必须要先加载基础模型，然后再安装角色模型。
| 名称 | 中文名称 | 大小 | 网盘 |
|---|---|---|---|
| Chilloutmix-Ni | 清凉组合 | 7.17GB | 下载 |
| NeverEnding Dream (NED) | 永无止境的梦想 | 3.97GB | 下载 |
目前比较主流的基础模型为ChilloutMix，是以SD官网模型1.5版本为基础进行训练的。 https://civitai.com/models/6424/chilloutmix https://www.123pan.com/s/sKd9-LkJc.html
使用教程
下载基础模型ChilloutMix，移动至
*\stable-diffusion-webui\models\Stable-diffusion目录。 下载需要的角色模型，移动至*\stable-diffusion-webui\models\Lora目录。 重启Stable Diffusion WebUI主界面 在Stable Diffusion WebUI的主界面左上角加载基础模型ChilloutMix。 在SD的文生图或图生图界面内的生成按钮下，可以看到一个粉色的图标，该图标名为Show extra networks（显示额外网络），点击该红色图标将会在本页弹出一个面板，在该面板中可以看到Lora选项卡。 可以看到已经安装的Lora模型，点击模型名称将会自动该角色名称加载到Prompt文本框中。 填写一些其它的描述信息和相应的参数之后，就可以看到非常理解的效果了。
提示词示例
示例拆解 下面是一段完整的提示词示例，该示例以八重神子角色模型为例，在提示词中可以看到被尖角号括起来的角色名称
<lora:yaeMikoRealistic_yaemikoFull:1>，除名称外的其它词条也比较少，但是效果非常棒。
best quality, ultra high res, (photorealistic:1.4), 1girl, nude, full body, spread legs, <lora:koreanDollLikeness_v15:1> ,<lora:yaeMikoRealistic_yaemikoMixed:1>,
Negative prompt: paintings, sketches, (worst quality:2),(low quality:2),(normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans,{{{bad_hands}}},badhand, bad_feet,
ENSD: 31337, Size: 960x1024, Seed: 4138265202, Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Clip skip: 2, Model hash: fc2511737a
示例效果展示
角色模型
下载未补充
| 名称 | 中文名称 | 角色标签 | 网盘 |
|---|---|---|---|
| Yae Miko | 八重神子 | lora:yaeMikoRealistic_yaemikoFull:1 | 下载 |
| Korean Doll | 韩国娃娃 | lora:koreanDollLikeness_v15:0.66 | 下载 |
| Yor Briar | 约尔·福杰 | lora:yor:0.6 | 下载 |
| Jelly | 果冻 | lora:niji_jelly:0.7 | 下载 |
| i_am_young22 | 张娜英 | lora:zny_1.0:0.7 | 下载 |
| chunmomo | 蠢沫沫 | lora:chunmm:0.8 | 下载 |
| Taiwan Doll | 台湾女孩 | lora:taiwanDollLikeness_v10:0.66 | 下载 |
| Raiden Shogun | 雷电将军 | lora:raidenShogunRealistic_raidenshogun:0.6 | 下载 |
| hf2ming-beta-020601 | 仿宋服风格 | lora:hf2ming-beta-020601:1 | 下载 |
| DingZhenLora | 丁真 | lora:DingZhenLora:1 | 下载 |
| Makima (Chainsaw Man) LoRA | 玛奇玛 | lora:makima_offset:1 | 下载 |
| Lucy | 露西 | lora:lucy-000035:0.7 | 下载 |
| MoXin | 墨心 | lora:Moxin_1010:1 | 下载 |
| Shukezouma | 疏可走马 | lora:Moxin_Shukezouma:0.7 | 下载 |
| POV Squatting Cowgirl LoRA | 女牛仔 | lora:PSCowgirl:0.9 | 下载 |
| LiuYiFei | 刘亦菲 | lora:liuyifei_10:0.8 | 下载 |
| Sam Yang Style LoRA | SamYang | lora:sam_yang_offset:1 | 下载 |
| YoRHa No. 2 Type B | 尤尔哈2B | lora:yorha_noDOT_2_type_b:0.5 | 下载 |
| Hipoly 3D Model LoRA | 海保利 | lora:hipoly3DModelLora_v10:0.5 | 下载 |
| Better Bodies | 更好的身体 | lora:breastInClass:1 | 下载 |
| Liyuu LoRA | リーユウ | lora:Liyuu:0.8 | 下载 |
模型展示
| 名称 | 中文名称 | 角色标签 | 网盘 |
|---|---|---|---|
| Innies: Better vaginas | 茵妮斯 | lora:innievag:1 | 下载 |
| Elegant hanfu ruqun style | 优雅的汉服 | lora:ruqun-000009:1 | 下载 |
| POV Doggystyle LoRA | 狗狗风格 | lora:POVDoggy:1 | 下载 |
| ChilloutMixss | Chillout混合 | lora:chilloutmixss_xss10:0.6 | 下载 |
| WLOP Style LoRA | 鬼刀风 | lora:wlop-000030:0.6 | 下载 |
| Lisa Blackpink | Lisa | <lora:Lisa Blackpink:0.8> | 下载 |
| IU | 李知恩 | lora:iu__v2:0.8 | 下载 |
| Irene | 艾琳 | lora:irene__v6:.7 | 下载 |
| Yeji Itzy | 黄礼志 | <lora:Yeji Itzy:0.7> | 下载 |
| Jennie Blackpink | 金智妮 | <lora:Jennie Blackpink:0.7> | 下载 |
| Saika Kawakita | 河北彩花 | lora:saika__v2:0.7 | 下载 |
| Nazuna Nanakusa | 七草荠 | lora:nanakusa_nazuna_offset:1 | 下载 |
| BlueArchive_AjitaniHifumi | 阿慈谷日富美 | lora:BA_AjitaniHifumi_epoch-000003:1.0 | 下载 |
| Rosè Blackpink | 朴彩英 | <lora:Rose Blackpink:0.8> | 下载 |
| Eye – LoRa | 眼睛 | lora:eye:0.85 | 下载 |
| goutou 狗头萝莉 Lora | 狗头萝莉 | lora:goutouLora_v20:0.7 | 下载 |
| Ganyu (Genshin Impact) | 元神-甘雨 | lora:ganyu_ned2_offset:1 | 下载 |
| Dilraba Dilmurat | 迪丽热巴 | lora:dilrabaDilmurat_v1:1 | 下载 |
| Jiyeon | 朴智妍 | lora:jiyeon_v3:0.8 | 下载 |
| Atdan Style LoRA | Atdan风格 | lora:atdan:0.65 | 下载 |
| Translucent bunnysuit | 半透明兔衣 | lora:reverseTranslucent_v10:1 | 下载 |
| 名称 | 中文名称 | 角色标签 | 网盘 |
|---|---|---|---|
| Gacha splash | 扭蛋飞溅 | <lora:Gacha Splash 3.1:1> | 下载 |
| Anime Tarot Card Art Style | 塔罗牌艺术风格 | lora:animetarotV51:1 | 下载 |
| Arcane Style | 神秘的风格 | lora:arcane_offset:1 | 下载 |
| Studio Ghibli Style | 吉卜力艺术风格 | lora:ghibli_style_offset:1.07 | 下载 |
| Riding Dildo | Sex Act Lora | 骑行 | lora:ridingDildoSexActLora_v10:1 |
| Helltaker LoRA | 地狱把妹王 | lora:Helltaker:0.7 | 下载 |
| Murky’s After Sex Lying | 背刺 | lora:AfterSexMS:1 | 下载 |
| Ahri (League of Legends) | 阿狸 | lora:ahriLeagueOfLegends_ahri45Suggested:1 | 下载 |
| Dark Magician Girl LoRA | 黑魔导少女 | lora:darkMagicianGirlLora_1:1 | 下载 |
| Keqing | Genshin Impact | 3in1 | 刻晴 |
| Standing Full Body with Background Style | 带背景立绘风格 | lora:standingFullBodyWithBackgroundStyle_v10Offset:1.5 | 下载 |
| Hestia (DanMachi) LoRA | 赫斯缇亚 | lora:hestiaDanmachiLora_v10:1 | 下载 |
| Murky’s Cum on Tongue | 舌头上的液体 | lora:CumOnTongueMS:1 | 下载 |
| Firekeeper from Darksouls3 | 防火女 | lora:firekeeperLoraFrom_fierkeeper16:1 | 下载 |
| Loona (Helluva Boss) [LoRA] | 极恶老大 | lora:loonaHelluvaBossLora_loonaLoraV3Latest:1 | 下载 |
| Upshirt / Underboob | Clothing | 半胸服 | lora:upshirtUnderboob_v10:1 |
| H&K HK416 LoRA | HK416自动步枪 | lora:HK416-v2:1 | 下载 |
| [Tsumasaky] Nilou Genshin Impact | 原神-妮露 | lora:TsumasakyNilouGenshin_v1:1 | 下载 |
| Yoneyama Mai [米山 舞] Style Likeness | 米山 舞 | lora:Vivid_Impactful_Style_locon_v4h:1 | 下载 |
| Murky’s Sideway Ass LoRA | Murky 的侧身PG | lora:SidewayAssMS:1 | 下载 |
| Bronya Zaychik Silverwing: N-EX Honkai Impact 3rd | 布洛妮娅·泽奇克 银翼：N-EX 崩坏 | lora:bronyaZaychikSilverwingNEX_v09:1 | 下载 |
Trauter_LoRAs｜Lora游戏角色模型
https://huggingface.co/YoungMasterFromSect/Trauter_LoRAs
Trauter_LoRAs是国外网友在Hugging Face托管的LoRA模型，其中包括原神-Genshin Impact、钟离-Zhongli、优菈-Eula、申鹤-Shenhe、夜兰-Yelan、宵宫-Yoimiya、八重神子-Yae Miko、雷电将军-Raiden Shogun、罗莎莉亚-Rosaria、九条裟罗-Kujou Sara、琴-Jean、莫娜-Mona、丽莎-Lisa、迪卢克-Diluc、芭芭拉-Barbara、碧蓝档案-Blue Archive、一之濑明日奈-Ichinose Asuna、陆八魔阿露-Rikuhachima Aru、命运-Fate Grand Order、源頼光-Minamoto-no-Raikou、莱莎的炼金工房-Misc. Characters、阿波尼亚-Aponia、莱莎琳·斯托特-Reisalin Stout、艺术风格-Artstyles、Pozer。
LoRA 只是一个针对特定艺术风格/主题进行训练的检查点，您可以将其加载到 WebUI 中， 可以与其他模型一起使用。尽管您可以将其与任何模型一起使用， LoRA 的效果在它们之间会有所不同。
大多数预览都使用来自WarriorMama777的模型。 有关它们的更多信息， 您可以访问原始 LoRA 存储库：https://github.com/cloneofsimo/lora
使用方法
所有的 LoRA 都将与其原始的danbooru标签一起使用.例如：
asuna (blue archive)
所有 LoRA 都包含后缀，告诉您它们接受了多少训练.要么使用“软”和“硬”等词，其中软代表较少的训练量，硬代表较高的训练量。
训练有素的 LoRA 更难修改，但在细节和原始服装方面提供更高的一致性， 而训练有素的 LoRA 会更灵活，但可能会弄错细节。
所有未标记为 PRUNED 的 LoRA 都需要标记有关角色的所有内容才能获得它的可爱度. 你必须标记角色的每个部分，比如：眼睛，头发，乳房，配饰，特殊功能，等等……
原神-Genshin Impact