今天,我们将向您介绍一款令人兴奋的更新——Stable Diffusion的ComfyUI放大模型DifFBIR。这是一款基于Stable Diffusion技术的AI绘画工具,旨在为您提供一键式图像放大的便捷体验。无论您是AI绘画的新手还是专业人士,这个工具都能为您带来极大的便利。
DifFBIR模型引入了超分辨率放大技术,能够实现更高质量的图像放大效果。通过这个工具,您可以轻松地放大图像,同时保持图像的清晰度和细节。此外,DifFBIR模型还具备人脸修复和图像去噪功能,能够自动识别并修复图像中的人脸,去除图像中的噪点,让您的作品更加完美。
在这个教程中,我们将详细介绍DifFBIR模型的使用方法和高级功能。通过这个工具,您可以轻松地实现超分辨率放大、人脸修复、图像去噪等功能,无需手动操作,大大提高了您的创作效率。同时,我们还将提供全网最详细的Stable Diffusion ComfyUI DifFBIR模型使用方法和参数设置诀窍,让您能够更好地掌握这个工具。
所以,如果您对Stable Diffusion和ComfyUI DifFBIR模型充满好奇,或者想要尝试一下这个有趣的功能,那就赶紧试试吧!它将会给您带来无尽的惊喜和乐趣!
由中国科学院深圳先进技术研究院、上海人工智能实验室、香港中文大学 联合开发的DiffBIR
,利用生成扩散先验实现盲图像恢复,它的核心作用就是能够解决图片模糊和老图片细节丢失的问题。插件主要支持三种功能:• 低分辨率图片变清晰 • 模糊人像修复 • 图像噪点修复
DiffBIR
将盲图像恢复问题解耦为两个阶段:1)降级去除:去除与图像无关的内容;2)信息再生:生成丢失的图像内容。每个阶段都是独立开发的,但它们以级联方式无缝工作。在第一阶段,我们使用恢复模块来消除退化并获得高保真恢复结果。第二阶段, 使用了 IRControlNet,它利用潜在扩散模型的生成能力来生成真实的细节。IRControlNet 基于专门生成的条件图像进行训练,不会分散噪声内容,以实现稳定的生成性能。
架构图:DiffBIR
的两级管道。1) 用于降解去除的恢复模块(RM);2) 用于真实图像重建的生成模块 (GM),具有可选的区域自适应恢复指导,以在质量和保真度之间进行权衡。
示例图:
image.png
其主要有三个功能:
Blind Image Super-Resolution 盲图像超分辨率:简称:BSR
| | | |
|
| — | — | — | — |
|
|
|
|
|
Blind Face Restoration 盲人面部修复:简称:BFR
| | |
|
| — | — | — |
|
|
|
|
Blind Image Denoising 图像盲去噪:简称:BID
| | | |
|
| — | — | — | — |
|
|
|
|
|
最高支持:8 倍盲超分辨率和基于补丁的采样
❝
Github: https://github.com/XPixelGroup/DiffBIR
论文:https://arxiv.org/html/2308.15070?_immersive_translate_auto_translate=1
项目地址:https://0x3f3f3f3fun.github.io/projects/diffbir/
ComfyUI-DiffBIR: https://github.com/jtscmw01/ComfyUI-DiffBIR
❞
ComfyUI DifFBIR的安装
「安装插件:」
还未收录到Manager中,需要通过Git地址来安装:1. cd comfyui/custom_nodes 2. git clone https://github.com/ComfyUI/ComfyUI-DiffBIR 3. pip install -r requirements.txt 4. Restart ComfyUI
「下载所需模型」:放到:ComfyUI/models/diffbir/
「国内下载地址」
| 模型 | 文件名及下载地址
|
| — | — |
| bsrnet | BSRNet.pth
https://github.com/cszn/KAIR/releases/download/v1.0/BSRNet.pth |
| swinir_face | face_swinir_v1.ckpt
https://hf-mirror.com/lxq007/DiffBIR/resolve/main/face_swinir_v1.ckpt |
| scunet_psnr | scunet_color_real_psnr.pth
https://github.com/cszn/KAIR/releases/download/v1.0/scunet_color_real_psnr.pth |
| swinir_general | general_swinir_v1.ckpt
https://hf-mirror.com/lxq007/DiffBIR/resolve/main/general_swinir_v1.ckpt |
| v2 | v2.pth
https://hf-mirror.com/lxq007/DiffBIR-v2/resolve/main/v2.pth |
| sd_v21 | v2-1_512-ema-pruned.ckpt
https://hf-mirror.com/stabilityai/stable-diffusion-2-1-base/resolve/main/v2-1_512-ema-pruned.ckpt |
目录结构如下:
image.png
ComfyUI DifFBIR 工作流实战
BSR: Blind Image Super-Resolution 超分辨率放大
image.png
原图 | DiffBIR |
---|---|
原图 | DIFFBIR |
---|---|
「效果超级炸裂」
BFR: Blind Face Restoration 面部修复
image.png
原图 | DiffBIR |
---|---|
BID: Blind Image Denoising 图像去噪
image.png
原图 | DiffBIR |
---|---|
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。