简介CycleGAN的Pytorch实现面向计算机视觉与深度学习开发者解决无配对图像到图像转换问题。项目基于ImageNet预训练的VGG19网络通过选取特定层计算内容损失与风格损失将图像风格迁移至目标域适用于风格迁移、图像生成等任务。压缩包共18个文件、约7.69MB包含7个Python脚本模型构建、训练流程、工具函数、4个预训练权重文件、2张结构图与2张效果图另有说明文档和可运行demo便于对照学习与复现。已有3004人浏览学习。资源按data/model/pretrained等模块组织README与demo.ipynb提供了清晰的入口读者可快速掌握CycleGAN的训练要点与调参思路也可基于现有代码扩展新的图像转换场景。1. CycleGAN没有配对图像也能做风格迁移Pytorch实现的关键配置CycleGAN是GAN家族里少数能做“非配对图像转换”的模型你有几千张普通马照片和几千张斑马照片不需要任何“这只马对应这只斑马”的标注训练后就能在两类图像之间互相转换。我在一个图像风格统一的小Demo里用它踩过不少坑比如训练到一半生成图全是单色最后才定位到判别器标签设置和归一化范围上。下面直接把我在Pytorch实现CycleGAN时的完整过程写下来包含网络结构、损失权重、数据预处理代码以及5条高频故障排查记录适合要快速复现CycleGAN、或者想在现有GAN项目里换换路的Python开发者参考。2. 核心架构生成器用ResNet-9、判别器用PatchGANPytorch实现对照2.1 为什么选ResNet-9做生成器而不是U-NetCycleGAN处理的是相同分辨率下的图像到图像转换内容要尽量保留风格要改变。U-Net擅长压缩再还原适合语义分割这类像素级任务而ResNet-9的编码-残差-解码结构先通过两轮下采样缩小特征图再用9个残差块承载最复杂的风格变化最后上采样回原尺寸。残差块不改变特征图尺寸生成器在最深层特征上仍有足够大的感受野又不会像普通深层卷积那样把边缘结构磨平。这种结构里残差块中间用instance norm比batch norm更合适。一张图就是一个“批”instance norm对单个样本做归一化不会因为batch size小而统计量漂移。CycleGAN训练时经常batch1这时候如果用batch norm前面几张图的统计量在训练初期会来回抖模型很难收得住。实例归一化还能让生成纹理更贴近单张图像的局部特征这是风格迁移任务里很关键的一点。2.2 PatchGAN判别器只判断局部区域不做全局判断PatchGAN的输出不是单个标量而是一张N×N的概率图每个点代表原图对应的一块局部区域是真是假。全局判别器容易因为背景太干净而忽略细节纹理PatchGAN强制模型把注意力放在局部笔触、线条这些风格载体上。对于一张256×256输入经过4次stride2的卷积后特征图缩小到16×16左右再追加一层卷积输出单通道raw logits得到网格状概率图每个网格覆盖原图一个约70×70像素的感受野。实现时我默认不接Sigmoid。训练用BCEWithLogitsLoss它内部已经合并了Sigmoid和交叉熵计算输出raw logits直接输入损失函数梯度反而更稳。生成器最后一层用Tanh把输出限定在[-1,1]判别器则直接输出logit两边数值范围天然对齐。2.3 生成器Pytorch实现我一般把生成器拆成三个部分来写下采样块、残差块、上采样块。上采样用UpsampleConv而不是ConvTranspose2d主要是为了避开反卷积带来的棋盘伪影。代码如下。import torch.nn as nn class ResidualBlock(nn.Module): def __init__(self, in_channels): super().__init__() self.block nn.Sequential( nn.ReflectionPad2d(1), # 反射填充避免边缘黑色伪影 nn.Conv2d(in_channels, in_channels, 3, biasFalse), nn.InstanceNorm2d(in_channels, affineTrue), # affineTrue让归一化后可学习缩放 nn.ReLU(inplaceTrue), nn.ReflectionPad2d(1), nn.Conv2d(in_channels, in_channels, 3, biasFalse), nn.InstanceNorm2d(in_channels, affineTrue), ) def forward(self, x): return x self.block(x) # 残差连接学习增量第一个卷积的biasFalse是因为后面紧跟InstanceNormNorm层自带平移项bias会重复且容易被抵消。残差连接让生成器在最深层特征上仍然保留原始内容训练时梯度也能跨层回传不会因为网络太深而出现梯度消失。class ResNetGenerator(nn.Module): def __init__(self, in_ch3, out_ch3, base64, res_blocks9): super().__init__() # 编码开头C7s1-647x7卷积覆盖大范围 model [ nn.ReflectionPad2d(3), nn.Conv2d(in_ch, base, 7, biasFalse), nn.InstanceNorm2d(base, affineTrue), nn.ReLU(inplaceTrue), ] # 两轮下采样通道数翻倍特征图尺寸减半 model [ nn.Conv2d(base, base*2, 3, stride2, padding1, biasFalse), nn.InstanceNorm2d(base*2, affineTrue), nn.ReLU(inplaceTrue), nn.Conv2d(base*2, base*4, 3, stride2, padding1, biasFalse), nn.InstanceNorm2d(base*4, affineTrue), nn.ReLU(inplaceTrue), ] # 残差块不改变尺寸只改写语义内容 for _ in range(res_blocks): model [ResidualBlock(base*4)] # 上采样最近邻放大后接卷积替代反卷积 model [ nn.Upsample(scale_factor2, modenearest), nn.Conv2d(base*4, base*2, 3, padding1, biasFalse), nn.InstanceNorm2d(base*2, affineTrue), nn.ReLU(inplaceTrue), nn.Upsample(scale_factor2, modenearest), nn.Conv2d(base*2, base, 3, padding1, biasFalse), nn.InstanceNorm2d(base, affineTrue), nn.ReLU(inplaceTrue), ] # 输出反射填充7x7卷积Tanh映射回[-1,1] model [ nn.ReflectionPad2d(3), nn.Conv2d(base, out_ch, 7), nn.Tanh(), ] self.model nn.Sequential(*model) def forward(self, x): return self.model(x)res_blocks默认9是CycleGAN原论文最常用的配置。对256×256输入它足够覆盖风格变化需要的感受野又不会把参数量堆得过大。如果输入分辨率提高到512甚至1024我会把res_blocks加到16到20并且让下采样stride保持2否则特征图太小残差块能携带的信息不够。2.4 PatchGAN判别器Pytorch实现判别器结构相对简单但最后要输出单通道raw logits不要接Sigmoid。class PatchDiscriminator(nn.Module): def __init__(self, in_ch3, base64): super().__init__() layers [ nn.Conv2d(in_ch, base, 4, stride2, padding1), nn.LeakyReLU(0.2, inplaceTrue), ] for mult in [1, 2, 4]: layers [ nn.Conv2d(base*mult, base*mult*2, 4, stride2, padding1, biasFalse), nn.InstanceNorm2d(base*mult*2, affineTrue), nn.LeakyReLU(0.2, inplaceTrue), ] # 最后一层输出单通道保持raw logits layers [nn.Conv2d(base*8, 1, 4, padding1)] self.model nn.Sequential(*layers) def forward(self, x): return self.model(x)这里用LeakyReLU而不是ReLU是判别器的标准选择。ReLU在负数区域没有梯度容易让判别器出现大量沉默神经元。LeakyReLU保留一个小斜率让负数区域也能回传梯度判别器整体更活跃。判别器的作用不是输出一个单点分数而是在每个patch上给出真伪判断。这样生成器即使某一局部做得很差也会在损失函数里暴露出来。整个CycleGAN模型包含两个生成器和两个判别器参数量加起来并不夸张生成器约11M判别器约2.7M普通单卡就能训练。2.5 权重初始化训练前我不会让模型直接吃随机初始化。常用做法是用正态分布初始化解卷积和卷积层std0.02然后初始化Norm层的weight为1bias为0。这一步看起来不起眼但能明显影响判别器初期的loss波动幅度。def init_weights(net, init_gain0.02): for m in net.modules(): if isinstance(m, nn.Conv2d): nn.init.normal_(m.weight, 0.0, init_gain) elif isinstance(m, nn.InstanceNorm2d): if m.weight is not None: nn.init.normal_(m.weight, 1.0, init_gain) if m.bias is not None: nn.init.constant_(m.bias, 0.0)注意InstanceNorm如果affineFalse它的weight和bias是None代码里要判空。我见过有人直接初始化空权重导致报错花了半天才发现是这里的问题。3. 数据准备目录结构、Dataset与图像预处理让CycleGAN少走弯路3.1 目录约定与Dataset实现CycleGAN数据的核心是“两个域互不配对”。我在实际使用时通常建这样的目录data/ trainA/ # 域A图像 trainB/ # 域B图像 testA/ # 测试用域A图像 testB/ # 测试用域B图像写加载器时把图片路径一次性读进内存再按索引随机取。不要每个epoch重新遍历磁盘训练过程中频繁IO会拖慢整个循环。import os from PIL import Image from torch.utils.data import Dataset class ImageFolderDataset(Dataset): def __init__(self, root, transformNone): self.paths [os.path.join(root, f) for f in os.listdir(root) if f.lower().endswith((.png, .jpg, .jpeg))] self.transform transform def __len__(self): return len(self.paths) def __getitem__(self, idx): img Image.open(self.paths[idx]).convert(RGB) if self.transform: img self.transform(img) return img在Pytorch DataLoader里我设置shuffleTrue让每个epoch以不同顺序进入训练。域A和域B用两个独立Dataset但要保证两边的batch大小相同否则判别器输入图像数量不一样loss的scale会对不上。3.2 图像增强与归一化的细节CycleGAN不需要很强的数据增强常用两种随机水平翻转和随机裁剪。我一般先把图resize到286×286再随机crop到256×256训练时天然带上平移不变性。测试阶段直接中心crop到256×256避免分辨率不匹配导致生成质量波动。归一化务必把像素缩放到[-1,1]。生成器最后用Tanh输出和输入在同一个数据范围判别器输入的fake和real也就对齐了。常用transforms一次做完import torchvision.transforms as T train_transform T.Compose([ T.Resize(286, T.InterpolationMode.BICUBIC), T.RandomCrop(256), T.RandomHorizontalFlip(), T.ToTensor(), T.Normalize(mean[0.5, 0.5, 0.5], std[0.5, 0.5, 0.5]), # 映射到[-1,1] ])这里的Normalize把[0,1]像素线性映射到[-1,1]不是ImageNet的mean/std那种归一化别混用。如果用了ImageNet均值方差生成器输入分布会偏移输出图像和真实图像在像素级上不一致。另外如果你的任务里左右翻转会破坏语义比如文字方向、车辆朝向等删掉RandomHorizontalFlip这一行。3.3 判别器要用ImagePool缓冲对抗训练有个常见问题生成器可能把当前这轮fake图像训练到能骗过当前判别器但判别器马上会转向新的fake分布导致两者互相追着跑。常见做法是ImagePool它把每次生成器输出的图像放进一个大小50的池子训练判别器时随机从池里取一张旧图来算loss。import random class ImagePool: def __init__(self, pool_size50): self.pool_size pool_size self.images [] def query(self, img): if self.pool_size 0: return img if len(self.images) self.pool_size: self.images.append(img) return img if random.random() 0.5: old random.choice(self.images) self.images.remove(old) self.images.append(img) return old return img逻辑不复杂池没满就直接存入并返回输入池满后以50%概率返回旧图用于判别器同时放入新图。这个缓冲不额外占用显存却能让判别器看到不同训练阶段的生成结果训练过程会更平稳。pool_size我一般设为50太大则判别器过度关注历史图太小就失去缓冲意义。4. 训练配置损失函数权重、Adam学习率与两百轮训练循环4.1 对抗损失、循环一致性损失与身份损失CycleGAN的核心创新是取消配对。为了约束内容结构不被改变它把A→B和B→A两个生成器串起来对循环回来的图像和原图做L1比较。即使没有配对模型也被迫学习保留内容。三个损失各司其职对抗损失让生成图“看起来像B域”循环一致性损失让内容不飘走身份损失让风格强度可控。身份损失用于照片到油画这类任务它让B域的图经过A→B生成器时仍然保持原样防止生成器在输入端就把颜色全换掉。我在训练里权重这样设λ_cyc10身份损失λ_idt5到10之间。不做身份损失就设成0。循环一致性权重太大生成器宁可把两张图变成近乎相同也不愿承担风格变化权重太小风格变得任性内容会严重丢失。常见做法是把λ_idt设成λ_cyc的一半左右能保留更多原始色相。criterionGAN nn.BCEWithLogitsLoss() criterionL1 nn.L1Loss() # 前向推断 fake_B netG_A2B(real_A) # A - B rec_A netG_B2A(fake_B) # B - A fake_A netG_B2A(real_B) # B - A rec_B netG_A2B(fake_A) # A - B # 判别器对生成图的raw logits pred_fake_B netD_B(fake_B.detach()) pred_fake_A netD_A(fake_A.detach()) # 生成器对抗损失期望判别器认为生成图是真的 g_loss_B criterionGAN(pred_fake_B, True) g_loss_A criterionGAN(pred_fake_A, True) # 循环一致性损失 cyc_loss criterionL1(rec_A, real_A) criterionL1(rec_B, real_B) # 身份损失生成器在“自家域”上保持不变 idt_A netG_B2A(real_A) idt_B netG_A2B(real_B) idt_loss criterionL1(idt_A, real_A) criterionL1(idt_B, real_B) # 生成器总损失 loss_G g_loss_A g_loss_B 10.0 * cyc_loss 5.0 * idt_lossfake_B.detach()很关键它切断生成器的梯度回传判别器更新时只改自己的参数生成器更新时也不用重复计算判别器的前向图。没有这个detach显存占用会明显上升。4.2 优化器与学习率衰减常见做法是Adamlr0.0002betas(0.5,0.999)。beta1用0.5而不是默认0.9因为GAN训练里动量太高容易振荡。总epoch数通常200前100个epoch学习率保持常数后100个epoch线性降到0import torch from torch.optim import lr_scheduler optim_G torch.optim.Adam(netG.parameters(), lr0.0002, betas(0.5, 0.999)) optim_D torch.optim.Adam(netD.parameters(), lr0.0002, betas(0.5, 0.999)) def lambda_rule(epoch): return 1.0 if epoch 100 else max(0.0, (200 - epoch) / 100) sched_G lr_scheduler.LambdaLR(optim_G, lr_lambdalambda_rule) sched_D lr_scheduler.LambdaLR(optim_D, lr_lambdalambda_rule)每个epoch结束时调用sched_G.step()和sched_D.step()即可。要注意lambda_rule里用的是当前epoch如果你频繁保存和继续训练加载checkpoint时一定也要恢复scheduler的state_dict否则学习率会重新从1.0开始训练后面直接弹出NaN。判别器和生成器的学习率可以不一样。如果判别器loss掉到0一直不回来我通常把判别器lr降到1e-4或者每5步更新一次判别器。但这种改更新次数的做法会让训练时间变长适合遇到明显病态情况时才用。4.3 一个迭代内的完整更新顺序每个batch我固定按先更新判别器、再更新生成器的顺序来做。生成器更新时要用判别器当前的判断结果作为监督信号先更新判别器能让信号更接近“当前最优判别器”。# 更新判别器以域A判别器为例 pred_real_A netD_A(real_A) loss_D_A_real criterionGAN(pred_real_A, True) pred_fake_A netD_A(fake_A.detach()) loss_D_A_fake criterionGAN(pred_fake_A, False) loss_D_A (loss_D_A_real loss_D_A_fake) * 0.5 loss_D_A.backward() optim_D.step() optim_D.zero_grad()真实标签1和假标签0建议配合label smoothing把真实标签改成0.9假标签改成0.1。判别器稍微保守一点不容易给生成器极端梯度。生成器更新时直接使用前向已经算好的loss_Gloss_G.backward()之后optim_G.step()最后把梯度归零。4.4 常见超参数配置表参数常见值说明输入分辨率256×256中心裁剪兼顾细节和显存生成器残差块9个256输入用9512输入用16PatchGAN感受野约70×70由判别器网络结构决定λ_cyc10循环一致性权重λ_idt0到5身份损失权重优化器Adambeta10.5, beta20.999初始学习率2e-4前100轮不变后100轮线性到0batch_size1到4取决于显存容量ImagePool50缓冲历史fake图像这个表只是起点。图像内容差异大时比如白天转夜间λ_cyc可以降到5风格差异细微时λ_idt可以提高到10先锁住颜色。每次换任务应该把前20个epoch的loss曲线打印出来确认三个loss的数值和量级符合预期后再继续跑满200轮。5. 避坑五条高频故障的排查与修复记录5.1 生成图像全黑或全白现象训练到第一个batch输出就已经是纯黑或纯白loss看起来还在下降。原因最常见的是标签设置错误。真实标签用了1但生成器最后一层如果写成Sigmoid输出被压到[0,1]和训练数据归一化到[-1,1]对不上。还有人忘了把输入数据Normalize到[-1,1]生成器输出自然错位。解决生成器最后一层用Tanh输入Normalize设置为mean0.5、std0.5。真实标签设为0.9假标签设为0.1标签平滑能让判别器不那么激进给生成器的梯度更可控。5.2 训练中期loss爆成NaN现象第几十轮开始loss突然变成NaN生成图变成噪声。原因学习率太高导致梯度爆炸或者循环一致性权重太大让loss跨越数值范围。我遇到过把λ_cyc设成100后L1 loss数值直接从个位飘到几千NaN很快出现。解决从λ_cyc10起步。已经出现NaN时先把学习率切到1e-4再检查forward里有没有非法的除零操作还没恢复就需要回滚到上一次正常checkpoint。因此训练时我每次都保存“最近一个正常epoch”的checkpoint这个后悔药比任何参数配置都重要。5.3 循环一致性损失居高不下生成图内容明显跑偏现象风格转了但物体形状变得夸张比如马的腿出现异常弯曲重建图和原图差很远。原因循环一致性只保证“A到B再回A”的内容接近但域转换本身允许一定自由度。如果训练数据集里域B的背景很杂模型会把背景也算进可变动内容或者λ_cyc过低让对抗损失压过循环约束。解决先提高λ_cyc到15跑30个epoch看重建图是否恢复。如果还飘检查数据质量把trainB里太暗、太糊、分辨率过低的图剔除。数据不干净时单纯加大权重解决不了问题。5.4 GPU显存OOM现象batch_size已经等于1256分辨率还爆显存。原因双生成器加双判别器同时在计算图里fake_B、rec_A等中间张量都保留着梯度显存占用比普通单判别器模型大很多。解决先把batch_size降为1关掉身份损失这样少一次前向。再用torch.cuda.amp混合精度训练显存能再省三成。fake_B.detach()本身也能降低峰值显存因为它切断生成器中间变量和判别器之间的梯度传播。5.5 生成图出现棋盘网格伪影现象放大看有规律网格类似像素块交错叠加。原因上采样用了ConvTranspose2d反卷积在某些位置会留下规律性空洞产生棋盘格。另一个常见原因是输出通道数太少生成器只能用离散数值表达连续过渡。解决用nn.Upsample(scale_factor2, modenearest)再接Conv3x3这个组合等价于先放大再卷积没有反卷积的零插值问题。如果已经用ConvTranspose2d训练到一半可以保留前几层权重只替换上采样层继续微调几轮也能回归。6. 进阶验证用FID和循环一致性把“看起来像”变成可度量指标6.1 用FID量化分布距离人工看几十张图很容易被主观情绪带偏。我习惯在正式实验前先跑FID真实图和生成图分别送进预训练分类网络取倒数第二层特征把这些特征近似成高斯分布再计算两个分布之间的距离。要做的事很清晰固定输入预处理方式取几百张图作为统计样本计算特征均值、协方差代入FID公式。数值越小说明两个域的图像分布在特征空间里越接近。6.2 循环重建图当语义自检工具FID回答分布是否接近但没回答单张图内容是否保留。CycleGAN自带免费机制A图经过A→B→A把重建图和原图逐像素求差生成残差热力图。如果高亮集中在边缘和纹理处说明风格变化主要发生在这些局部区域内容保留住了如果整体发亮说明内容已经跑偏。这个检查不需要额外代码。训练时每20个epoch存几组cycle重建jpg验收时把A、fake_B、rec_A并排看一眼比只看fake图有效得多。我踩过几次只看生成图觉得风格很对结果重建图里内容早就飞了的教训。6.3 推理前统一输入尺寸测试时先把图像按短边resize到256再中心crop。不要直接塞任意尺寸图进去生成器在固定分辨率下训练测试尺寸偏差会破坏PatchGAN感受野对应的纹理粒度。Pytorch的eval模式对实例归一化影响不大但如果你把Norm换成BatchNormbatch1推理时统计量会和训练不一致输出很容易翻车。我的习惯是保存best权重推理统一走resize-crop-normalize流程并用torch.no_grad()包裹前向。从那以后我每次换数据集跑CycleGAN都会强制先做一轮小验证固定λ_cyc10跑20个epoch看三个loss曲线确认没有NaN再保存循环重建图检查内容是否保留全部通过后才把资源投满跑200轮。这套流程让我后面几个GAN项目少走了很多弯路希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/10/12 20:06:59 · 阅读 1.2k CycleGAN非配对图像风格迁移的PyTorch实现与避坑指南
简介CycleGAN的Pytorch实现面向计算机视觉与深度学习开发者解决无配对图像到图像转换问题。项目基于ImageNet预训练的VGG19网络通过选取特定层计算内容损失与风格损失将图像风格迁移至目标域适用于风格迁移、图像生成等任务。压缩包共18个文件、约7.69MB包含7个Python脚本模型构建、训练流程、工具函数、4个预训练权重文件、2张结构图与2张效果图另有说明文档和可运行demo便于对照学习与复现。已有3004人浏览学习。资源按data/model/pretrained等模块组织README与demo.ipynb提供了清晰的入口读者可快速掌握CycleGAN的训练要点与调参思路也可基于现有代码扩展新的图像转换场景。1. CycleGAN没有配对图像也能做风格迁移Pytorch实现的关键配置CycleGAN是GAN家族里少数能做“非配对图像转换”的模型你有几千张普通马照片和几千张斑马照片不需要任何“这只马对应这只斑马”的标注训练后就能在两类图像之间互相转换。我在一个图像风格统一的小Demo里用它踩过不少坑比如训练到一半生成图全是单色最后才定位到判别器标签设置和归一化范围上。下面直接把我在Pytorch实现CycleGAN时的完整过程写下来包含网络结构、损失权重、数据预处理代码以及5条高频故障排查记录适合要快速复现CycleGAN、或者想在现有GAN项目里换换路的Python开发者参考。2. 核心架构生成器用ResNet-9、判别器用PatchGANPytorch实现对照2.1 为什么选ResNet-9做生成器而不是U-NetCycleGAN处理的是相同分辨率下的图像到图像转换内容要尽量保留风格要改变。U-Net擅长压缩再还原适合语义分割这类像素级任务而ResNet-9的编码-残差-解码结构先通过两轮下采样缩小特征图再用9个残差块承载最复杂的风格变化最后上采样回原尺寸。残差块不改变特征图尺寸生成器在最深层特征上仍有足够大的感受野又不会像普通深层卷积那样把边缘结构磨平。这种结构里残差块中间用instance norm比batch norm更合适。一张图就是一个“批”instance norm对单个样本做归一化不会因为batch size小而统计量漂移。CycleGAN训练时经常batch1这时候如果用batch norm前面几张图的统计量在训练初期会来回抖模型很难收得住。实例归一化还能让生成纹理更贴近单张图像的局部特征这是风格迁移任务里很关键的一点。2.2 PatchGAN判别器只判断局部区域不做全局判断PatchGAN的输出不是单个标量而是一张N×N的概率图每个点代表原图对应的一块局部区域是真是假。全局判别器容易因为背景太干净而忽略细节纹理PatchGAN强制模型把注意力放在局部笔触、线条这些风格载体上。对于一张256×256输入经过4次stride2的卷积后特征图缩小到16×16左右再追加一层卷积输出单通道raw logits得到网格状概率图每个网格覆盖原图一个约70×70像素的感受野。实现时我默认不接Sigmoid。训练用BCEWithLogitsLoss它内部已经合并了Sigmoid和交叉熵计算输出raw logits直接输入损失函数梯度反而更稳。生成器最后一层用Tanh把输出限定在[-1,1]判别器则直接输出logit两边数值范围天然对齐。2.3 生成器Pytorch实现我一般把生成器拆成三个部分来写下采样块、残差块、上采样块。上采样用UpsampleConv而不是ConvTranspose2d主要是为了避开反卷积带来的棋盘伪影。代码如下。import torch.nn as nn class ResidualBlock(nn.Module): def __init__(self, in_channels): super().__init__() self.block nn.Sequential( nn.ReflectionPad2d(1), # 反射填充避免边缘黑色伪影 nn.Conv2d(in_channels, in_channels, 3, biasFalse), nn.InstanceNorm2d(in_channels, affineTrue), # affineTrue让归一化后可学习缩放 nn.ReLU(inplaceTrue), nn.ReflectionPad2d(1), nn.Conv2d(in_channels, in_channels, 3, biasFalse), nn.InstanceNorm2d(in_channels, affineTrue), ) def forward(self, x): return x self.block(x) # 残差连接学习增量第一个卷积的biasFalse是因为后面紧跟InstanceNormNorm层自带平移项bias会重复且容易被抵消。残差连接让生成器在最深层特征上仍然保留原始内容训练时梯度也能跨层回传不会因为网络太深而出现梯度消失。class ResNetGenerator(nn.Module): def __init__(self, in_ch3, out_ch3, base64, res_blocks9): super().__init__() # 编码开头C7s1-647x7卷积覆盖大范围 model [ nn.ReflectionPad2d(3), nn.Conv2d(in_ch, base, 7, biasFalse), nn.InstanceNorm2d(base, affineTrue), nn.ReLU(inplaceTrue), ] # 两轮下采样通道数翻倍特征图尺寸减半 model [ nn.Conv2d(base, base*2, 3, stride2, padding1, biasFalse), nn.InstanceNorm2d(base*2, affineTrue), nn.ReLU(inplaceTrue), nn.Conv2d(base*2, base*4, 3, stride2, padding1, biasFalse), nn.InstanceNorm2d(base*4, affineTrue), nn.ReLU(inplaceTrue), ] # 残差块不改变尺寸只改写语义内容 for _ in range(res_blocks): model [ResidualBlock(base*4)] # 上采样最近邻放大后接卷积替代反卷积 model [ nn.Upsample(scale_factor2, modenearest), nn.Conv2d(base*4, base*2, 3, padding1, biasFalse), nn.InstanceNorm2d(base*2, affineTrue), nn.ReLU(inplaceTrue), nn.Upsample(scale_factor2, modenearest), nn.Conv2d(base*2, base, 3, padding1, biasFalse), nn.InstanceNorm2d(base, affineTrue), nn.ReLU(inplaceTrue), ] # 输出反射填充7x7卷积Tanh映射回[-1,1] model [ nn.ReflectionPad2d(3), nn.Conv2d(base, out_ch, 7), nn.Tanh(), ] self.model nn.Sequential(*model) def forward(self, x): return self.model(x)res_blocks默认9是CycleGAN原论文最常用的配置。对256×256输入它足够覆盖风格变化需要的感受野又不会把参数量堆得过大。如果输入分辨率提高到512甚至1024我会把res_blocks加到16到20并且让下采样stride保持2否则特征图太小残差块能携带的信息不够。2.4 PatchGAN判别器Pytorch实现判别器结构相对简单但最后要输出单通道raw logits不要接Sigmoid。class PatchDiscriminator(nn.Module): def __init__(self, in_ch3, base64): super().__init__() layers [ nn.Conv2d(in_ch, base, 4, stride2, padding1), nn.LeakyReLU(0.2, inplaceTrue), ] for mult in [1, 2, 4]: layers [ nn.Conv2d(base*mult, base*mult*2, 4, stride2, padding1, biasFalse), nn.InstanceNorm2d(base*mult*2, affineTrue), nn.LeakyReLU(0.2, inplaceTrue), ] # 最后一层输出单通道保持raw logits layers [nn.Conv2d(base*8, 1, 4, padding1)] self.model nn.Sequential(*layers) def forward(self, x): return self.model(x)这里用LeakyReLU而不是ReLU是判别器的标准选择。ReLU在负数区域没有梯度容易让判别器出现大量沉默神经元。LeakyReLU保留一个小斜率让负数区域也能回传梯度判别器整体更活跃。判别器的作用不是输出一个单点分数而是在每个patch上给出真伪判断。这样生成器即使某一局部做得很差也会在损失函数里暴露出来。整个CycleGAN模型包含两个生成器和两个判别器参数量加起来并不夸张生成器约11M判别器约2.7M普通单卡就能训练。2.5 权重初始化训练前我不会让模型直接吃随机初始化。常用做法是用正态分布初始化解卷积和卷积层std0.02然后初始化Norm层的weight为1bias为0。这一步看起来不起眼但能明显影响判别器初期的loss波动幅度。def init_weights(net, init_gain0.02): for m in net.modules(): if isinstance(m, nn.Conv2d): nn.init.normal_(m.weight, 0.0, init_gain) elif isinstance(m, nn.InstanceNorm2d): if m.weight is not None: nn.init.normal_(m.weight, 1.0, init_gain) if m.bias is not None: nn.init.constant_(m.bias, 0.0)注意InstanceNorm如果affineFalse它的weight和bias是None代码里要判空。我见过有人直接初始化空权重导致报错花了半天才发现是这里的问题。3. 数据准备目录结构、Dataset与图像预处理让CycleGAN少走弯路3.1 目录约定与Dataset实现CycleGAN数据的核心是“两个域互不配对”。我在实际使用时通常建这样的目录data/ trainA/ # 域A图像 trainB/ # 域B图像 testA/ # 测试用域A图像 testB/ # 测试用域B图像写加载器时把图片路径一次性读进内存再按索引随机取。不要每个epoch重新遍历磁盘训练过程中频繁IO会拖慢整个循环。import os from PIL import Image from torch.utils.data import Dataset class ImageFolderDataset(Dataset): def __init__(self, root, transformNone): self.paths [os.path.join(root, f) for f in os.listdir(root) if f.lower().endswith((.png, .jpg, .jpeg))] self.transform transform def __len__(self): return len(self.paths) def __getitem__(self, idx): img Image.open(self.paths[idx]).convert(RGB) if self.transform: img self.transform(img) return img在Pytorch DataLoader里我设置shuffleTrue让每个epoch以不同顺序进入训练。域A和域B用两个独立Dataset但要保证两边的batch大小相同否则判别器输入图像数量不一样loss的scale会对不上。3.2 图像增强与归一化的细节CycleGAN不需要很强的数据增强常用两种随机水平翻转和随机裁剪。我一般先把图resize到286×286再随机crop到256×256训练时天然带上平移不变性。测试阶段直接中心crop到256×256避免分辨率不匹配导致生成质量波动。归一化务必把像素缩放到[-1,1]。生成器最后用Tanh输出和输入在同一个数据范围判别器输入的fake和real也就对齐了。常用transforms一次做完import torchvision.transforms as T train_transform T.Compose([ T.Resize(286, T.InterpolationMode.BICUBIC), T.RandomCrop(256), T.RandomHorizontalFlip(), T.ToTensor(), T.Normalize(mean[0.5, 0.5, 0.5], std[0.5, 0.5, 0.5]), # 映射到[-1,1] ])这里的Normalize把[0,1]像素线性映射到[-1,1]不是ImageNet的mean/std那种归一化别混用。如果用了ImageNet均值方差生成器输入分布会偏移输出图像和真实图像在像素级上不一致。另外如果你的任务里左右翻转会破坏语义比如文字方向、车辆朝向等删掉RandomHorizontalFlip这一行。3.3 判别器要用ImagePool缓冲对抗训练有个常见问题生成器可能把当前这轮fake图像训练到能骗过当前判别器但判别器马上会转向新的fake分布导致两者互相追着跑。常见做法是ImagePool它把每次生成器输出的图像放进一个大小50的池子训练判别器时随机从池里取一张旧图来算loss。import random class ImagePool: def __init__(self, pool_size50): self.pool_size pool_size self.images [] def query(self, img): if self.pool_size 0: return img if len(self.images) self.pool_size: self.images.append(img) return img if random.random() 0.5: old random.choice(self.images) self.images.remove(old) self.images.append(img) return old return img逻辑不复杂池没满就直接存入并返回输入池满后以50%概率返回旧图用于判别器同时放入新图。这个缓冲不额外占用显存却能让判别器看到不同训练阶段的生成结果训练过程会更平稳。pool_size我一般设为50太大则判别器过度关注历史图太小就失去缓冲意义。4. 训练配置损失函数权重、Adam学习率与两百轮训练循环4.1 对抗损失、循环一致性损失与身份损失CycleGAN的核心创新是取消配对。为了约束内容结构不被改变它把A→B和B→A两个生成器串起来对循环回来的图像和原图做L1比较。即使没有配对模型也被迫学习保留内容。三个损失各司其职对抗损失让生成图“看起来像B域”循环一致性损失让内容不飘走身份损失让风格强度可控。身份损失用于照片到油画这类任务它让B域的图经过A→B生成器时仍然保持原样防止生成器在输入端就把颜色全换掉。我在训练里权重这样设λ_cyc10身份损失λ_idt5到10之间。不做身份损失就设成0。循环一致性权重太大生成器宁可把两张图变成近乎相同也不愿承担风格变化权重太小风格变得任性内容会严重丢失。常见做法是把λ_idt设成λ_cyc的一半左右能保留更多原始色相。criterionGAN nn.BCEWithLogitsLoss() criterionL1 nn.L1Loss() # 前向推断 fake_B netG_A2B(real_A) # A - B rec_A netG_B2A(fake_B) # B - A fake_A netG_B2A(real_B) # B - A rec_B netG_A2B(fake_A) # A - B # 判别器对生成图的raw logits pred_fake_B netD_B(fake_B.detach()) pred_fake_A netD_A(fake_A.detach()) # 生成器对抗损失期望判别器认为生成图是真的 g_loss_B criterionGAN(pred_fake_B, True) g_loss_A criterionGAN(pred_fake_A, True) # 循环一致性损失 cyc_loss criterionL1(rec_A, real_A) criterionL1(rec_B, real_B) # 身份损失生成器在“自家域”上保持不变 idt_A netG_B2A(real_A) idt_B netG_A2B(real_B) idt_loss criterionL1(idt_A, real_A) criterionL1(idt_B, real_B) # 生成器总损失 loss_G g_loss_A g_loss_B 10.0 * cyc_loss 5.0 * idt_lossfake_B.detach()很关键它切断生成器的梯度回传判别器更新时只改自己的参数生成器更新时也不用重复计算判别器的前向图。没有这个detach显存占用会明显上升。4.2 优化器与学习率衰减常见做法是Adamlr0.0002betas(0.5,0.999)。beta1用0.5而不是默认0.9因为GAN训练里动量太高容易振荡。总epoch数通常200前100个epoch学习率保持常数后100个epoch线性降到0import torch from torch.optim import lr_scheduler optim_G torch.optim.Adam(netG.parameters(), lr0.0002, betas(0.5, 0.999)) optim_D torch.optim.Adam(netD.parameters(), lr0.0002, betas(0.5, 0.999)) def lambda_rule(epoch): return 1.0 if epoch 100 else max(0.0, (200 - epoch) / 100) sched_G lr_scheduler.LambdaLR(optim_G, lr_lambdalambda_rule) sched_D lr_scheduler.LambdaLR(optim_D, lr_lambdalambda_rule)每个epoch结束时调用sched_G.step()和sched_D.step()即可。要注意lambda_rule里用的是当前epoch如果你频繁保存和继续训练加载checkpoint时一定也要恢复scheduler的state_dict否则学习率会重新从1.0开始训练后面直接弹出NaN。判别器和生成器的学习率可以不一样。如果判别器loss掉到0一直不回来我通常把判别器lr降到1e-4或者每5步更新一次判别器。但这种改更新次数的做法会让训练时间变长适合遇到明显病态情况时才用。4.3 一个迭代内的完整更新顺序每个batch我固定按先更新判别器、再更新生成器的顺序来做。生成器更新时要用判别器当前的判断结果作为监督信号先更新判别器能让信号更接近“当前最优判别器”。# 更新判别器以域A判别器为例 pred_real_A netD_A(real_A) loss_D_A_real criterionGAN(pred_real_A, True) pred_fake_A netD_A(fake_A.detach()) loss_D_A_fake criterionGAN(pred_fake_A, False) loss_D_A (loss_D_A_real loss_D_A_fake) * 0.5 loss_D_A.backward() optim_D.step() optim_D.zero_grad()真实标签1和假标签0建议配合label smoothing把真实标签改成0.9假标签改成0.1。判别器稍微保守一点不容易给生成器极端梯度。生成器更新时直接使用前向已经算好的loss_Gloss_G.backward()之后optim_G.step()最后把梯度归零。4.4 常见超参数配置表参数常见值说明输入分辨率256×256中心裁剪兼顾细节和显存生成器残差块9个256输入用9512输入用16PatchGAN感受野约70×70由判别器网络结构决定λ_cyc10循环一致性权重λ_idt0到5身份损失权重优化器Adambeta10.5, beta20.999初始学习率2e-4前100轮不变后100轮线性到0batch_size1到4取决于显存容量ImagePool50缓冲历史fake图像这个表只是起点。图像内容差异大时比如白天转夜间λ_cyc可以降到5风格差异细微时λ_idt可以提高到10先锁住颜色。每次换任务应该把前20个epoch的loss曲线打印出来确认三个loss的数值和量级符合预期后再继续跑满200轮。5. 避坑五条高频故障的排查与修复记录5.1 生成图像全黑或全白现象训练到第一个batch输出就已经是纯黑或纯白loss看起来还在下降。原因最常见的是标签设置错误。真实标签用了1但生成器最后一层如果写成Sigmoid输出被压到[0,1]和训练数据归一化到[-1,1]对不上。还有人忘了把输入数据Normalize到[-1,1]生成器输出自然错位。解决生成器最后一层用Tanh输入Normalize设置为mean0.5、std0.5。真实标签设为0.9假标签设为0.1标签平滑能让判别器不那么激进给生成器的梯度更可控。5.2 训练中期loss爆成NaN现象第几十轮开始loss突然变成NaN生成图变成噪声。原因学习率太高导致梯度爆炸或者循环一致性权重太大让loss跨越数值范围。我遇到过把λ_cyc设成100后L1 loss数值直接从个位飘到几千NaN很快出现。解决从λ_cyc10起步。已经出现NaN时先把学习率切到1e-4再检查forward里有没有非法的除零操作还没恢复就需要回滚到上一次正常checkpoint。因此训练时我每次都保存“最近一个正常epoch”的checkpoint这个后悔药比任何参数配置都重要。5.3 循环一致性损失居高不下生成图内容明显跑偏现象风格转了但物体形状变得夸张比如马的腿出现异常弯曲重建图和原图差很远。原因循环一致性只保证“A到B再回A”的内容接近但域转换本身允许一定自由度。如果训练数据集里域B的背景很杂模型会把背景也算进可变动内容或者λ_cyc过低让对抗损失压过循环约束。解决先提高λ_cyc到15跑30个epoch看重建图是否恢复。如果还飘检查数据质量把trainB里太暗、太糊、分辨率过低的图剔除。数据不干净时单纯加大权重解决不了问题。5.4 GPU显存OOM现象batch_size已经等于1256分辨率还爆显存。原因双生成器加双判别器同时在计算图里fake_B、rec_A等中间张量都保留着梯度显存占用比普通单判别器模型大很多。解决先把batch_size降为1关掉身份损失这样少一次前向。再用torch.cuda.amp混合精度训练显存能再省三成。fake_B.detach()本身也能降低峰值显存因为它切断生成器中间变量和判别器之间的梯度传播。5.5 生成图出现棋盘网格伪影现象放大看有规律网格类似像素块交错叠加。原因上采样用了ConvTranspose2d反卷积在某些位置会留下规律性空洞产生棋盘格。另一个常见原因是输出通道数太少生成器只能用离散数值表达连续过渡。解决用nn.Upsample(scale_factor2, modenearest)再接Conv3x3这个组合等价于先放大再卷积没有反卷积的零插值问题。如果已经用ConvTranspose2d训练到一半可以保留前几层权重只替换上采样层继续微调几轮也能回归。6. 进阶验证用FID和循环一致性把“看起来像”变成可度量指标6.1 用FID量化分布距离人工看几十张图很容易被主观情绪带偏。我习惯在正式实验前先跑FID真实图和生成图分别送进预训练分类网络取倒数第二层特征把这些特征近似成高斯分布再计算两个分布之间的距离。要做的事很清晰固定输入预处理方式取几百张图作为统计样本计算特征均值、协方差代入FID公式。数值越小说明两个域的图像分布在特征空间里越接近。6.2 循环重建图当语义自检工具FID回答分布是否接近但没回答单张图内容是否保留。CycleGAN自带免费机制A图经过A→B→A把重建图和原图逐像素求差生成残差热力图。如果高亮集中在边缘和纹理处说明风格变化主要发生在这些局部区域内容保留住了如果整体发亮说明内容已经跑偏。这个检查不需要额外代码。训练时每20个epoch存几组cycle重建jpg验收时把A、fake_B、rec_A并排看一眼比只看fake图有效得多。我踩过几次只看生成图觉得风格很对结果重建图里内容早就飞了的教训。6.3 推理前统一输入尺寸测试时先把图像按短边resize到256再中心crop。不要直接塞任意尺寸图进去生成器在固定分辨率下训练测试尺寸偏差会破坏PatchGAN感受野对应的纹理粒度。Pytorch的eval模式对实例归一化影响不大但如果你把Norm换成BatchNormbatch1推理时统计量会和训练不一致输出很容易翻车。我的习惯是保存best权重推理统一走resize-crop-normalize流程并用torch.no_grad()包裹前向。从那以后我每次换数据集跑CycleGAN都会强制先做一轮小验证固定λ_cyc10跑20个epoch看三个loss曲线确认没有NaN再保存循环重建图检查内容是否保留全部通过后才把资源投满跑200轮。这套流程让我后面几个GAN项目少走了很多弯路希望帮到你。本文还有配套的精品资源点击获取