前言
最近发现一个很不错的sdwebui的插件,不仅能完成图片换脸,还能进行视频换脸,而且效果比之前的 faceid和reactor要好很多,更像更高清,哈哈,废话不多说,直接上干货~
插件是 easyPhoto,实测效果很不错,
插件介绍
EasyPhoto生成采用基于开源模型StableDiffusion + 人物定制Lora的方式 + ControlNet 的方式完成艺术照生成
-
1、使用人脸检测模型对输入的指定模板进行人脸检测(crop & warp)并结合数字分
-
身进行模板替换。
-
2、采用FaceID模型挑选用户输入的最佳ID Photo和模板照片进行人脸融
-
合(face fusion)。
-
3、使用融合后的图片作为基底图片,使用替换后的人脸作为control条件,加上数
-
字分身对应的Lora,进行图到图局部重绘生成。
-
4、采用基于StableDiffusion + 超分的方式进一步在保持ID的前提下生成高清
-
结果图。
所有的AI设计工具,模型和插件,都已经整理好了,👇获取~
插件安装
我用的 秋叶大神的 sd 集成包,安装直接如下 ,速度很快,哈哈
如图在版本管理中,选择【安装新扩展】,然后最下边输入 easyPhoto的git链接,然后点击安装,很快就会安装完成,安装完成会在列表中 有 easyPhoto,然后启动sdwebui可以看到如下
这就说明安装成功了,哈哈
好了接下来是使用
**训练lora人脸模型
**
简单说,easyPhoto是基于lora来固定人脸的,具体技术细节可以去看 文末的git地址,通过5-8张同一个人的不同脸部图片即可训练,如下图
点击 【upload photos】选择提前准备好的图片,我这选了8张,点击【start training】会弹出 userid ,需要写一个uerid,但是不能为中文,切记,否则报错,点击确定就开始训练了,第一启动会下载很多依赖模型,需要的等一会,不过不需要梯子,很快,哈哈
这边的参数,简单说一下,我一般使用模型,除了模型,哈哈
训练完成 会存储模型在 sd-webui-aki-v4.5\outputs\easyphoto-user-id-infos 文件夹下,文件名字就是你上边写的 userid,
使用模型
模型的使用场景很丰富,
1、Photo2Photo可以理解图生图换脸
给莫妮卡来张证件照
它还可以同时给两个人换脸,从左到右分别是user0id,user1id的脸
这就是换完的,哈哈
2、text2Photo,文生图,这部分大家自己试试吧
3、video2video这个是给视频换脸,最近我一直用这个做 抖音视频,哈哈
这个要注意 选择mp4,还有你的视频的长度,8真1s,如果你视频是10s,那就【Video Max num of frames】输入80,选择对应人脸lora开始 合成,看看我的效果
原视频
换脸视频
哈哈还可以吧
easyPhoto还有其他很多好玩的功能,读者们自己试试吧
这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》,相信大家会对AIGC有着更深入、更系统的理解。
有需要的朋友,可以点击下方免费领取!
AIGC所有方向的学习路线思维导图
这里为大家提供了总的路线图。它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去,那么我的使命也就完成了:
AIGC工具库
AIGC工具库是一个利用人工智能技术来生成应用程序的代码和内容的工具集合,通过使用AIGC工具库,能更加快速,准确的辅助我们学习AIGC
有需要的朋友,可以点击下方卡片免费领取!