【AI绘画SD教程】Lineart线稿上色和IP-Adapter 人像写真插件实操教学,轻松助你生成多种风格的AI人像大片!SD零基础入门到精通教程

大家好,我是画画的小强

今天给大家分享一下如何用AI绘画工具StableDiffusion当中的 LineArt线稿处理 和 IP-Adapter 实操教学。

本期教程开始之前,请先确保你的电脑已经安装好StableDiffusion这款AI绘图工具,如你还没有安装使用,那么可以看看我的往期入门教程:AI绘画SD下载安装教程,学习AI绘画软件必看(SD怎么安装,SD安装教程,安装stable diffusion软件必看)

1、LineArt简介

LineArt是Stable Diffusion中的一种扩展模型,旨在通过提供额外的线稿信息,控制和引导图像生成的方向。这个模型可以帮助用户将草图、线稿转换成更加详细和高质量的图像。

主要用途

AI真人化: 将线稿转换成逼真的人像图。

角色二创: 利用风格化迁移和背景调整,进行高质量的角色二次创作。

线稿上色: 将单纯的线稿图像转换成彩色图像。

产品设计: 将生成的图像应用到产品设计中,如T恤、海报等。

我给大家准备了一份完整版的AI绘画全套学习资料,已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

2、动漫人物AI真人化

首先在图生图中加载你需要真人化的动漫原图,然后根据画面特征输入正向提示词和反向提示词,记得要加入一些画面、质量的起手式哦,如果你担心自己描写的不够详细和准确,你也可以点击生成下方的"CLIP反推"来反推提示词

当然也可以使用WD标签器进行反推,反推完后可以根据实际情况对提示词进行微调。然后务必选择一个真实系的模型,比如MajicMix Realistic(适合亚洲人),Realistic Vision(适合欧美人),A-Zovya Phtotreal(适合非洲人)。

当然,也别忘了设置合适的采样方法和尺寸等其他一切你需要的参数。为了使生成的真人图片更接近于原图,所以重绘幅度建议低于0.5

点击生成后可以对比一下原图,如果不满意可以多生成几次选择一张你最满意的保留。

但如果遇到一些细节比较丰富的动漫原图时候,会发现生成的真人图细节还原会和原图有些许出入。

这时候我们就需要用上ControlNet来协助我们,我们今天就要用到其中的LineArt,它是基于边缘线条的识别来引导图像的控制,可以从图片中提取边缘轮廓,这样便可以更为准确还原原图的细节特征。

我们在之前的基础上开启ControlNet,勾选"完美像素模式",选择Lineart的预处理和模型,其中"Lineart_anime"更适合提取动漫图片的线条,我们选择它。

再次生成照片,我们便发现新生成的图片的细节特征就已经十分还原原图的了。

关于LineArt预处理器的区别

在ControlNet LineArt中,不同的预处理器模型有不同的功能和特点,选择适合的预处理器模型便是我们能否高质量生成图片的关键,以下是这些模型的具体区别和功能说明:

如果你的SD中的Lineart预处理没有这些模型,那么可以扫描免费获取模型文件哦,下载好后模型文件放在_extensions\sd-webui-controlnet\models_目录中

lineart_standard(标准线稿提取 - 白底黑线反色):

功能: 从白底黑线的图像中提取线稿,并进行反色处理。

适用场景: 适用于标准的线稿图像处理,通过反色获得更加明确的线条。

invert(对白色背景黑色线条图像反相处理):

功能: 对图像进行反相处理,使白色背景变成黑色,黑色线条变成白色。

适用场景: 适用于需要反转颜色的图像处理,通常用于特殊效果的图像转换。

lineart_realistic(写实线稿提取):

功能: 从写实图像中提取线稿,保留较多的细节。

适用场景: 适用于处理写实风格的图像,能保留更多细节和复杂线条。

lineart_coarse(粗略线稿提取):

功能: 提取图像中的粗略线稿,线条较为简单粗糙。

适用场景: 适用于需要快速提取简单线条的场景,适合草图和初步设计。

lineart_anime_denoise(动漫线稿提取 - 去噪):

功能: 从动漫图像中提取线稿,并进行去噪处理,得到更加清晰的线条。

适用场景: 适用于处理动漫风格的图像,通过去噪获得清晰的线稿。

lineart_anime(动漫线稿提取):

功能: 从动漫图像中提取线稿。

适用场景: 适用于处理动漫风格的图像,保留动漫特有的线条和风格。


3、IP-Adapter简介

IP-Adapter 是一种在图像生成和处理过程中应用的预处理器,它主要用于实现图像风格化和特定效果的转换。IP-Adapter可以真正理解图片的具体内容和含义,并利用它对生成图片进行微调并输出,它主要应用包括:

风格化迁移: 将输入图像转换为特定的艺术风格或效果。例如,将普通照片转换为动漫风格、素描风格等。

特定效果应用: 在图像中应用特定的视觉效果,如老电影效果、卡通效果等,使图像具有特定的艺术表现力。

IP-Adapter 预处理器适用于多种场景,包括但不限于:

图像增强: 可以用于图像的后期处理,添加特定的效果,使图像更具吸引力。

商业设计: 在广告、海报设计等商业项目中,使用 IP-Adapter 可以快速实现图像风格化,满足不同客户的需求。

4、人物角色二次创作

当我们熟练掌握了ControlNet之后,我们便可以通过IP-Adapter尝试对人物角色进行二次创作,让他们拥有不同着装、外观、皮肤等等。

IP-Adapter模型下载:

请看上方或文末扫描免费获取IP-Adapter的模型文件,模型文件放在_extensions\sd-webui-controlnet\models_目录中

示例

我这里想让我原图的风格都变成星空类型的,点击文生图,在ControlNet单元0中先导入一张星空图,启用并勾选完美像素模式,控制类型选择IP-Adapter,,预处理器和模型也都选择IP-Adapter相关,权重控制和引导时间可以适当放松。

然后在ControlNet单元1中导入人物原图,同样启用并勾选完美像素模式,然后将控制类型选择为Lineart,并选择适合你画风的Lineart预处理器和模型,我这里是动漫的画风,就选择了lineart_anime。

然后选择一个适合你图片风格的大模型,并且输入正向提示词和反向提示词,你也可以对图片进行反推获得提示词。

正向提示词:1girl,artist name,bangs,blue sky,blurry,blurry background,blurry foreground,blush,bow,bowtie,brown eyes,brown hair,bubble,cloud,collared shirt,crescent moon,dandelion,day,depth of field,eyebrows visible through hair,floating hair,flower,grin,hair ornament,lens flare,long hair,looking at viewer,moon,outdoors,red bow,red bowtie,school uniform,shirt,short sleeves,signature,sky,smile,solo,striped,sun,sunflower,sunflower hair ornament,teeth,upper body,water drop,white shirt,wind,yellow flower,``(masterpiece:1.2),best quality,masterpiece,highres,original,extremely detailed wallpaper,perfect lighting,(extremely detailed CG:1.2),drawing,paintbrush,

反向提示词:NSFW,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(ugly:1.331),(duplicate:1.331),(morbid:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5),blurry,(bad anatomy:1.21),(badproportions:1.331),extra limbs,(disfigured:1.331),(missingarms:1.331),(extra legs:1.331),(fused fingers:1.61051),(too many fingers:1.61051),(unclear eyes:1.331),lowers,bad hands,missing fingers,extra digit,bad hands,missing fingers,(((extraarms and legs))),

最后选择合适的图片尺寸后生成即可,可以看到我们星空风格已经融入进我们的原图中了。

你可以通过控制权重来微调你的图片,你也可以发挥你的想象和创造来生成更多不同风格的图片。

5、更换画面背景

虽然对于一些构图简单的人物和主体可以通过手绘蒙版,然后局部重绘来实现。但对于人物主体构图线条比较复杂的画面的话,手绘蒙版费时费力效果也不好,但我们可以通过Photoshop等工具抠图来生成蒙版。但这里我们要讲的是更为直接轻松的方法,可以在SD里直接解决问题。

首先下载安装RemBg这个插件。

安装完成并重启SD后,便可以在"后期处理"的底部看到"移除背景"这个插件了。

示例

我们来移除这个图片的人物背景,选择"后期处理"选项卡,将图片导入进来,勾选"移除背景",然后选择一个模型,我这里是二次元画风的图像,自然选择带anime的模型,由于我们不需要对图像进行缩放,在"图像放大"中将"缩放比例"调整为1即可。

点击生成便能迅速生成一张去除背景的透明底的PNG图片了。

如果你需要生成蒙版用于SD中的重绘的话,就把"回送蒙版"勾选上,就能生成一张蒙版图片了。

然后在图生图中的"上传重绘蒙版"中分别加载原图和蒙版图,蒙版模式选择为"重绘非蒙版内容",蒙版区域内容处理选择为"填充",重绘幅度设置为1,记得将重绘尺寸调整为和原图一致,然后在正向提示词中输入你希望生成的背景内容就可以生成新的背景了。

另外,我们可以同时开启ControlNet中的"局部重绘",选择"inpaint_global_harmonious"全局融合算法预处理器来辅助生成新的背景,会让背景和人物融合的更加自然。

如果我们有现成的背景图,希望能生成和现成背景图相似的背景,并将人物融合进去,那我们可以再启用一个ControlNet单元,勾选"上传独立的控制图像"加载我们现成的背景图,同时也勾选"完美像素模式",控制类型选择"Lineart线稿",并选择合适的预处理器和模型。

这样我们便通过读取加载背景图的线稿的方式重新生成了和人物主体相融合的图片。

我们完全可以结合这一节的更换背景技术和之前的动漫转真人、对人物二次创作、以及Openpose控制姿势等技术相结合来生成图片。只要利用好多开ControlNet单元,就能实现更丰富的技术应用结合。通过ControlNet,我们可以更精确地控制图像的生成,当然ControlNet也会消耗更多的显存。

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

6、线稿上色

这里我们不得不提的一个重要功能便是线稿上色,我们可以通过SD WebUI实现人物、和场景的线稿转实景,这项功能可以倍广泛的用于动漫、游戏角色、场景的创造,工业和家装的设计等等领域。

示例

启用ControlNet并加载线稿图,控制类型选择"Lineart线稿",预处理器选择"Lineart_standard"。

选择合适的大模型,并输入正向和反向提示词,同样可以通过反推提取后进一步修改。

选择合适的尺寸后便能生成上色的成品图了。

另外,我们也可以通过图生图中的涂鸦功能,简单为线稿图片上色后让AI根据你的上色来生成成品图。

我们当然也可以通过线稿生成真实系照片。

我们也利用Lineart+IP-Adapter的组合来生成具有某种风格的物体和画风。比如这辆具有申花色彩搭配的赛车。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/1558503.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

电桥的作用是什么?

一、电桥的基本概念和原理 电桥是一种测量电阻、电容、电感等电学量的仪器,其原理基于电路中的克希荷夫定律以及欧姆定律。电桥由四个电阻分支组成,在精确测量电阻时,需要把待测电阻与一个已知电阻进行比较,通过调节电桥中的一个…

将流畅度贯彻到底的ColorOS,究竟有何“流畅法宝”?

在智能手机这个无比激烈的竞技场中,系统的流畅度和稳定性往往是衡量用户体验的金标准。 ColorOS作为OPPO手机的操作系统,自2013年诞生以来,便以其卓越的系统流畅度赢得了众多用户的青睐。同时其在2020年创办至今的鲁大师牛角尖盛典中&#x…

学习threejs,光晕效果

👨‍⚕️ 主页: gis分享者 👨‍⚕️ 感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍⚕️ 收录于专栏:threejs gis工程师 文章目录 一、🍀前言二、🍀光晕效果实现1. ☘…

蓝牙模块(BT04/HC05)

目录 一、介绍 二、模块原理 1.原理图与外形尺寸 2.引脚描述 3.蓝牙模块基础AT指令介绍 三、程序设计 usart3.h文件 usart3.c文件 四、实验效果 五、资料获取 项目分享 一、介绍 BT04A是一款蓝牙低功耗(Bluetooth Low Energy, BLE)模块&…

(RAG)技术结合了大模型(LLM)与内部数据,从而实现更智能且相关性更高的 AI 应用

利用先进的生成式 AI 技术(如 RAG),释放数据的潜力,推动创新并获取战略优势 主要功能 使用向量数据库优化数据检索和生成 通过 AI 代理提升决策效率并自动化工作流程 克服实施真实 RAG 系统中的常见挑战 购买印刷版或 Kindle …

股指期货和股指期权有什么区别?

在金融衍生品的世界里,股权类衍生品无疑是其中的佼佼者,而股指期货和股指期权更是其中的佼佼者。尽管它们之间有着千丝万缕的联系,但它们之间的区别同样不容忽视。本文衍生股指君将详细解析股指期货和股指期权的核心区别。 一、交易的东西不…

数据库软题7-数据库设计

一、概念结构设计 题1-ER图的属性分类 题2-局部ER图的冲突分类 1.命名冲突 命名冲突有同名异义,异名同义2.结构冲突 结构冲突分为:统一实体不同属性,同一对象在不同关系里可能为属性或者实体 教师其实就是职工,他们有不同的属性…

5.将扩散模型应用于具有特殊结构的数据

虽然扩散模型在图像和音频等数据应用领域中取得了巨大的成功,但他们不一定能无缝地转移到其他模态上。在许多重要的领域,数据有特殊的结构。为了让扩散模型有效运作,必须考虑并处理这些特殊结构。比如,经典扩散模型所依赖的分数的…

「JVS更新日志」低代码、智能BI、逻辑引擎10.9功能更新说明

项目介绍 JVS是企业级数字化服务构建的基础脚手架,主要解决企业信息化项目交付难、实施效率低、开发成本高的问题,采用微服务配置化的方式,提供了 低代码数据分析物联网的核心能力产品,并构建了协同办公、企业常用的管理工具等&am…

SDUT数据结构与算法第二次机测

目录 7-1 括号匹配 7-2 后缀式求值 7-3 表达式转换 7-4 【模板】KMP字符串匹配 比较详细注释和图解请看KMP——字符串匹配-CSDN博客,(点击链接可跳转)一看就会 7-5 约瑟夫环(押题,重要) 7-6 单调栈&a…

迪士尼数据泄露事件:全面审视数据安全策略与未来防护方向

迪士尼数据泄露事件概述 一、 事件背景以及影响 在全球数字化转型加速的浪潮中,数据安全已成为企业运营不可忽视的基石。 华特迪士尼公司,作为全球知名的娱乐传媒巨头,其数据泄露事件无疑为业界敲响了警钟。此次事件不仅揭示了数据保护的严…

Pymysql cur.fetchall() 返回 None

大家在pymysql 的 cur.fetchall() 函数通常用于获取执行 SQL 查询后的所有结果。该函数返回一个包含查询结果的元组列表。如果 cur.fetchall() 返回 None,可能是由于以下多种问题导致的。 1、问题背景 在使用 Pymysql 库连接到 MySQL 数据库时,遇到这样…

YOLOv5改进——普通卷积和C3模块更换为GhostConvV2卷积和C3GhostV2模块

目录 一、GhostNetV2核心代码 二、修改common.py 三、修改yolo.py 三、建立yaml文件 四、训练 一、GhostNetV2核心代码 在models文件夹下新建modules文件夹,在modules文件夹下新建一个py文件。这里为GhostV2.py。复制以下代码到文件里面。 # TODO: ghostnetv…

好用的免费录屏软件推荐,让软件操作教程制作不再困难

录屏软件就像是我们做教程或者玩游戏时的“小助手”,它能帮我们把屏幕上的东西都记录下来,让视频看起来更高大上。今天我就给你推荐三款免费的好货,用它们做教程,保证让你轻松又开心。 1. 福昕录屏大师 虫洞 https://www.foxits…

【读书笔记·VLSI电路设计方法解密】问题4:今天的设计环境中使用的主要工艺技术是什么

主流的工艺技术是互补金属氧化物半导体(CMOS)技术。其他技术还包括双极性、双极CMOS(biCMOS)、绝缘体上硅(SOI)和砷化镓(GaAs)。 在CMOS技术中,"互补对称"指的…

SD入门教程一:Stable Diffusion 基础(技术篇)

前言 在开篇的时候就大致讲了SD和VAE,那么今天我们具象化地再来讲讲Stable Diffusion(稳定扩散)。 严格说来它是一个由几个组件(模型)构成的系统,而非单独的一个模型。我以最常见的文生图为例,…

大型保险公司进行营销活动时,如何与外部客户实现文件安全外发?

大型保险公司为了吸引新客户、维护老客户、提升品牌形象以及推广特定的保险产品,会定期向外部客户或潜在客户发送营销文件。在客户签单后,保险公司会将客户相关的签单个人文件发送给客户。因此,大型保险公司内部存在较为频繁且重要的文件安全…

安装DNS

在 CentOS 7 上安装并配置 BIND 以实现 DNS 的正向和反向解析可以按照以下步骤进行: 安装 BIND 打开终端并运行以下命令来安装 BIND 及其工具: yum install bind bind-utils -y配置 BIND 编辑主配置文件: 使用文本编辑器打开 BIND 的主配…

电商价格监测的创新之路

在当今数字化高速发展的时代,电商如汹涌的浪潮席卷了商业的每一个角落。品牌们在这片广阔的电商海洋中奋力前行,而价格监测则成为了他们手中至关重要的罗盘。 力维网络以其专业的价格监测服务,为品牌在电商之海的航行点亮了一盏明灯。然而&a…

多节点网络流量监控与网络性能优化的利器——轻松实现高效管理

目录 为什么网络性能监控如此重要? 多节点网络流量监控如何优化网络性能? 实例:AnaTraf如何帮助企业解决网络故障 了解更多 随着企业网络规模的不断扩大,维护网络性能的复杂性日益增加。如何实时监控网络流量、快速排查网络故…