Iris-3B是如何训练的256→512→1024渐进式rectified flow训练配方完整揭秘Iris-3B 是一款 30 亿参数的像素空间文生图扩散模型它跳过 VAE 潜空间让网络直接输出每一个像素。本文完整揭秘它的训练配方从 256 → 512 → 1024 的渐进式 rectified flow整流预训练、关键 flow 参数再到 Iris-3B Turbo 的 4 步蒸馏训练细节并介绍同一底座如何微调成深度估计与图像修复模型。 先认识 Iris-3B直接在像素空间做扩散大多数文生图模型先靠 VAE 把图片压缩成潜变量在潜空间做扩散再解码回像素。Iris-3B 直接跳过这一步网络本身就是像素生成器。图片被切成 16×16 的 patch 送入 diffusion transformer最后由一个 4 层的 pixel head 把每个 patch 还原成真实像素——不经过任何有损、偏纹理的潜表示。模型架构一览定义见 config.yaml组件配置参数规模3B外加冻结的 4B 文本编码器主干diffusion transformer8 个双流dual-stream块 16 个单流块hidden_size 2560注意力20 头5 个 KV 头GQA、gated attention、sandwich norm、RoPE像素头4 层 pixel head把每个 16×16 patch 还原为像素文本编码器Qwen3-VL-4B-Instruct冻结config.yaml这种设计的直观收益细节不经过有损压缩微调后还能胜任深度、修复等对细节极其敏感的任务后文介绍。 渐进式训练256 → 512 → 1024 是核心配方Iris-3B 的预训练路线是典型的渐进式分辨率训练progressive training目标函数采用rectified flowrectified flow 让模型学习一条从纯噪声到清晰图片的近似直线轨迹训练时预测速度场 v采样时沿这条轨迹一步步去噪。相比传统扩散模型它的轨迹更直、采样更稳。训练分 4 个阶段详见 README.md阶段分辨率目标① 预训练256 px低分辨率、算力便宜让模型先学会粗结构与构图② 预训练512 px在已会画构图的基础上补中频细节③ 预训练1024 px全分辨率训练学习纹理、文字等高频细节④ SFT1024 px监督微调supervised fine-tuning用高质量数据对齐指令、提升美感四个阶段累计665K 步。为什么要渐进因为 1024×1024 像素的样本计算量是 256×256 的 16 倍——先在便宜的低分辨率上把大方向学对再把算力花在高分辨率精修上这是兼顾效果与成本的标准打法。关键 rectified flow 训练参数以下参数全部记录在 config.yaml 的flow段也是复现/理解该配方的核心参数值作用num_train_timesteps1000训练时离散化的时间步数shift4.0时间步分布的偏移把更多采样预算压向高噪声区间timestep_samplerlogit_normalmean 0 / std 1按 logit-normal 分布抽时间步训练更均衡predictionv速度场v-prediction参数化rectified flow 的标准形式x_pred_sigma_min0.05低噪声端预测 x 的下限改善细节稳定性训练完成后的默认采样设置CFG 3、100 步、输出约 100 万像素默认 1024×1024。⚡ Iris-3B Turbo 是如何蒸馏出来的两阶段 TDM仓库turbo/目录里是一个4 步蒸馏版单张 1024×1024 图片在 H100 上约 0.7 秒生成。它用 **Trajectory Distribution MatchingTDM轨迹分布匹配**做数据无关data-free蒸馏——不需要原训练集用随机文本提示即可且是对全部 3B 参数的完整微调不是 LoRA。蒸馏配方是两阶段完整参数见 README.md阶段 1阶段 2最终发布步数σ 调度6 步1, 0.926, 0.833, 0.714, 0.556, 0.3334 步1, 0.938, 0.833, 0.625初始化学生 Iris-3B学生 阶段 1 的 EMAfake 网络 阶段 1学生更新步数1,600500全局 batch6416学生 / fake 网络学习率1e-6 / 5e-62.5e-7 / 2.5e-6EMA decay0.9990.9995文本提示量约 981K 条约 1.19M 条训练要点冻结的 Iris-3B 教师把CFG 3.5 烘焙进目标学生全程无 CFG 采样AdamWbetas 0/0.999、权重衰减 0、梯度裁剪 1.0FP32 权重 BF16 autocast在 7 个约 1MP 的宽高比桶1024×1024、752×1344、896×1344、896×1200 及其转置上训练。最终发布的是阶段 2 的 EMA 权重bf16。采样调度本身是模型的一部分记录在 turbo/distill.yaml确定性 flow-Euler 步进deterministic: true--steps、--cfg-scale等参数对它不生效。 从生成器到视觉基础模型1 万步微调像素空间先验还有一个隐藏福利不改任何架构同一个底座微调后即可做稠密视觉任务配置分别在 depth/config.yaml 和 upscaler/config.yaml。两个微调模型推理时都用空提示词单前向连文本编码器都不需要。任务训练方式效果单目深度估计直接回归相对对数深度10K 步AbsRel 0.071、δ1 0.946NYUv2/KITTI/ETH3D 等 5 数据集零样本均值图像修复 4× 超分单步对抗式修复HYPIR 配方sigma: 0.5、1024 分块10K 步LPIPS 0.292、PSNR 20.68DIV2K 验证集深度估计从室内照片直接得到相对深度图——换个更复杂的餐厅场景深度同样准确——图像修复一张明显模糊的雪豹低质照片经过修复微调后的模型单前向即可还原细节—— 配方对应哪些文件文件内容model.safetensors文生图权重EMA、float32配合 bf16 autocast 运行config.yaml架构 rectified flow 训练/采样参数depth/深度估计模型含empty_prompt.safetensorsupscaler/修复/超分模型turbo/4 步蒸馏版EMA bf16 权重 distill.yaml 采样调度写在最后Iris-3B 的训练配方可以浓缩成三句话像素空间 rectified flow不做潜空间压缩v-prediction 学直路径shift 4.0 logit-normal 采样控制噪声预算256 → 512 → 1024 渐进式预训练 1024 分辨率 SFT共 665K 步用 1/16 的成本先把结构学对数据无关的 TDM 两阶段蒸馏把 100 步压缩到 4 步同一底座再以各 10K 步微调成深度、修复模型。这套配方对想训练或蒸馏自己像素空间生成模型的开发者非常有参考价值——所有关键参数都以明文形式放在仓库配置里开箱即可对照复现。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/11/3 2:31:48 · 阅读 1.2k Iris-3B是如何训练的：256→512→1024渐进式rectified flow训练配方完整揭秘
Iris-3B是如何训练的256→512→1024渐进式rectified flow训练配方完整揭秘Iris-3B 是一款 30 亿参数的像素空间文生图扩散模型它跳过 VAE 潜空间让网络直接输出每一个像素。本文完整揭秘它的训练配方从 256 → 512 → 1024 的渐进式 rectified flow整流预训练、关键 flow 参数再到 Iris-3B Turbo 的 4 步蒸馏训练细节并介绍同一底座如何微调成深度估计与图像修复模型。 先认识 Iris-3B直接在像素空间做扩散大多数文生图模型先靠 VAE 把图片压缩成潜变量在潜空间做扩散再解码回像素。Iris-3B 直接跳过这一步网络本身就是像素生成器。图片被切成 16×16 的 patch 送入 diffusion transformer最后由一个 4 层的 pixel head 把每个 patch 还原成真实像素——不经过任何有损、偏纹理的潜表示。模型架构一览定义见 config.yaml组件配置参数规模3B外加冻结的 4B 文本编码器主干diffusion transformer8 个双流dual-stream块 16 个单流块hidden_size 2560注意力20 头5 个 KV 头GQA、gated attention、sandwich norm、RoPE像素头4 层 pixel head把每个 16×16 patch 还原为像素文本编码器Qwen3-VL-4B-Instruct冻结config.yaml这种设计的直观收益细节不经过有损压缩微调后还能胜任深度、修复等对细节极其敏感的任务后文介绍。 渐进式训练256 → 512 → 1024 是核心配方Iris-3B 的预训练路线是典型的渐进式分辨率训练progressive training目标函数采用rectified flowrectified flow 让模型学习一条从纯噪声到清晰图片的近似直线轨迹训练时预测速度场 v采样时沿这条轨迹一步步去噪。相比传统扩散模型它的轨迹更直、采样更稳。训练分 4 个阶段详见 README.md阶段分辨率目标① 预训练256 px低分辨率、算力便宜让模型先学会粗结构与构图② 预训练512 px在已会画构图的基础上补中频细节③ 预训练1024 px全分辨率训练学习纹理、文字等高频细节④ SFT1024 px监督微调supervised fine-tuning用高质量数据对齐指令、提升美感四个阶段累计665K 步。为什么要渐进因为 1024×1024 像素的样本计算量是 256×256 的 16 倍——先在便宜的低分辨率上把大方向学对再把算力花在高分辨率精修上这是兼顾效果与成本的标准打法。关键 rectified flow 训练参数以下参数全部记录在 config.yaml 的flow段也是复现/理解该配方的核心参数值作用num_train_timesteps1000训练时离散化的时间步数shift4.0时间步分布的偏移把更多采样预算压向高噪声区间timestep_samplerlogit_normalmean 0 / std 1按 logit-normal 分布抽时间步训练更均衡predictionv速度场v-prediction参数化rectified flow 的标准形式x_pred_sigma_min0.05低噪声端预测 x 的下限改善细节稳定性训练完成后的默认采样设置CFG 3、100 步、输出约 100 万像素默认 1024×1024。⚡ Iris-3B Turbo 是如何蒸馏出来的两阶段 TDM仓库turbo/目录里是一个4 步蒸馏版单张 1024×1024 图片在 H100 上约 0.7 秒生成。它用 **Trajectory Distribution MatchingTDM轨迹分布匹配**做数据无关data-free蒸馏——不需要原训练集用随机文本提示即可且是对全部 3B 参数的完整微调不是 LoRA。蒸馏配方是两阶段完整参数见 README.md阶段 1阶段 2最终发布步数σ 调度6 步1, 0.926, 0.833, 0.714, 0.556, 0.3334 步1, 0.938, 0.833, 0.625初始化学生 Iris-3B学生 阶段 1 的 EMAfake 网络 阶段 1学生更新步数1,600500全局 batch6416学生 / fake 网络学习率1e-6 / 5e-62.5e-7 / 2.5e-6EMA decay0.9990.9995文本提示量约 981K 条约 1.19M 条训练要点冻结的 Iris-3B 教师把CFG 3.5 烘焙进目标学生全程无 CFG 采样AdamWbetas 0/0.999、权重衰减 0、梯度裁剪 1.0FP32 权重 BF16 autocast在 7 个约 1MP 的宽高比桶1024×1024、752×1344、896×1344、896×1200 及其转置上训练。最终发布的是阶段 2 的 EMA 权重bf16。采样调度本身是模型的一部分记录在 turbo/distill.yaml确定性 flow-Euler 步进deterministic: true--steps、--cfg-scale等参数对它不生效。 从生成器到视觉基础模型1 万步微调像素空间先验还有一个隐藏福利不改任何架构同一个底座微调后即可做稠密视觉任务配置分别在 depth/config.yaml 和 upscaler/config.yaml。两个微调模型推理时都用空提示词单前向连文本编码器都不需要。任务训练方式效果单目深度估计直接回归相对对数深度10K 步AbsRel 0.071、δ1 0.946NYUv2/KITTI/ETH3D 等 5 数据集零样本均值图像修复 4× 超分单步对抗式修复HYPIR 配方sigma: 0.5、1024 分块10K 步LPIPS 0.292、PSNR 20.68DIV2K 验证集深度估计从室内照片直接得到相对深度图——换个更复杂的餐厅场景深度同样准确——图像修复一张明显模糊的雪豹低质照片经过修复微调后的模型单前向即可还原细节—— 配方对应哪些文件文件内容model.safetensors文生图权重EMA、float32配合 bf16 autocast 运行config.yaml架构 rectified flow 训练/采样参数depth/深度估计模型含empty_prompt.safetensorsupscaler/修复/超分模型turbo/4 步蒸馏版EMA bf16 权重 distill.yaml 采样调度写在最后Iris-3B 的训练配方可以浓缩成三句话像素空间 rectified flow不做潜空间压缩v-prediction 学直路径shift 4.0 logit-normal 采样控制噪声预算256 → 512 → 1024 渐进式预训练 1024 分辨率 SFT共 665K 步用 1/16 的成本先把结构学对数据无关的 TDM 两阶段蒸馏把 100 步压缩到 4 步同一底座再以各 10K 步微调成深度、修复模型。这套配方对想训练或蒸馏自己像素空间生成模型的开发者非常有参考价值——所有关键参数都以明文形式放在仓库配置里开箱即可对照复现。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考