【stablediffusion又出王炸】IC-Light，可以操控图像生成时的光照，光照难题终于被解决了！

IC-Light代表Impose Constant Light,是一个控制图像照明的项目。可以操控图像生成时的光照，对内容主体重新打光生成符合新背景环境光照的图片。这下商品图合成这种需要最大程度保持原有主体 ID 需求的最大的问题解决了。

Controlnet, Layerdiffusion, IC-light…

不得不说敏神的技术品味真的好… 全是重要问题

目前，已经发布了两种类型的模型：

文本条件重新光照模型。从原图分离主体之后通过提示词生成符合光照要求的背景同时主体除了光照之外和原主体一致。
背景条件模型。给定背景图片和前景主体，会自动生成环境光，保证背景和前景的融合。

生成效果

文本条件模型

Lighting Preference只是初始潜在值。例如，如果照明首选项为“左”，则初始潜在值是左白右黑。

提示：美丽的女人，细致的脸，温暖的气氛，在家，卧室
照明偏好：左

Prompt: beautiful woman, detailed face, warm atmosphere, at home, bedroom
Lighting Preference: Left

Prompt: beautiful woman, detailed face, sunshine from window
Lighting Preference: Left

Prompt: beautiful woman, detailed face, light and shadow
Lighting Preference: Left

Prompt: (beautiful woman, detailed face, soft studio lighting)

背景条件模型

背景条件模型不需要仔细提示。只需使用“帅哥、电影灯光”等简单提示即可。

施加一致的光

在 HDR 空间中，照明具有所有光传输都是独立的属性。因此，不同光源的外观混合相当于混合光源的外观：

以上面的灯光舞台为例，“外观混合”和“光源混合”的两幅图像是一致的(理想情况下，HDR空间中的数学等效)。

我们在训练重光照模型时施加了这种一致性(在潜在空间中使用mlp)。因此，该模型能够产生高度一致的光照-如此一致，不同的光照甚至可以合并为法线贴图!尽管这些模型是潜在扩散的。

从左到右分别是输入、模型输出、重光照、分割阴影图像和合并法线贴图。请注意，该模型没有使用任何法线贴图数据进行训练。这种正常估计来自于重光照的一致性。你可以使用这个按钮重现这个实验(它是4倍慢，因为它重照图像4次）

使用模型需注意的地方

iclight_sd15_fc.safetensors默认的重光照模型，以文本和前景为条件。你可以使用初始潜波来影响重亮。
iclight_sd15_fcon.safetensors与“iclight_sd15_fc”相同。“安全装置”，但经过了噪音补偿训练。注意，默认的“iclight_sd15_fc。在用户研究中，Safetensors的表现略优于该模型。这就是为什么默认模型是没有偏移噪声的模型。
iclight_sd15_fbc.safetensors -以文本、前景和背景为条件的重新照明模型。

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
在这里插入图片描述