你有没有想过，一台AI画图机器内部其实住着两个"人"，一个负责构思画面，一个负责把构思变成真实的图片，而这两个人经常意见不合?
这不是玩笑。这正是当下最先进的图像生成技术里，一个被长期忽视却真实存在的矛盾。
(资料图片仅供参考)
先说说背景。最近一两年，图像生成领域出现了一种叫做表征自编码器的新思路。
表征自编码器*：英文缩写RAE，一种利用预训练好的视觉编码器提取图像特征，再用这些特征同时驱动图像重建和图像生成的技术框架。
简单说，就是不再从零训练一个"看图"模型，而是直接借用一个已经很懂图像的现成模型（比如DINOv3）来提特征，然后在这些特征基础上做生成任务。这样做的好处显而易见：省去了重新学"什么是猫""什么是边缘"这些基础视觉知识的过程，直接站在巨人的肩膀上开始画画。
但问题也随之而来。这个"现成的视觉专家"内部是分层的，浅层看到的是像素级细节，比如纹理、边缘、颜色这些东西；深层看到的是更抽象的语义信息，比如"这是一只狗""这是户外场景"。研究团队做了一个实验，把DINOv3-L模型里最后7层的特征融合起来去重建图像，得到的PSNR是22.58分贝；如果把最后23层全部融合，PSNR涨到27.04分贝，重建质量明显更好。
PSNR*：峰值信噪比，衡量图像重建质量的常用指标，数值越高说明重建图像和原图越接近。
但诡异的事情发生了：重建质量变好的同时，生成质量却变差了。同样是这两种融合方式，用23层融合训练出来的生成模型，无引导gFID从7层方案的1.65涨到了3.01，有引导的gFID也从1.06涨到1.25。
gFID*：生成图像的弗雷歇距离，衡量AI生成图片与真实图片分布差异的指标，数值越低代表生成图片越逼真越多样。
翻译成人话就是：浅层信息能帮你把图片画得更细腻，但深层信息才更利于生成模型学会画出合理的内容。这就好比让同一个团队里，既要有人负责雕刻细节，又要有人负责构图立意，结果这两拨人偏好的原材料完全不同，一个爱用高清素材，一个爱用抽象草图。传统做法是强行规定"我们统一用某个固定层的组合"，结果两边都憋屈，谁也发挥不出最佳水平。
这就是这篇论文要解决的核心矛盾：重建和生成之间的鸿沟，根源在于两个下游任务被绑死在了同一套固定的层融合规则上。
**一个自动坍缩的"投票系统"，揭示了问题有多深**
研究团队做了一个很直观的实验来证明这个矛盾不是空想。他们训练了一个可学习的"门控"机制，让模型自己去投票决定该用哪几层的特征。结果发现，训练刚开始的时候，各层的权重大致均匀分布，但随着训练推进，最浅的那一层权重一路飙升到几乎100%，其他层则被压到接近0，而且一旦引入GAN对抗训练，这个坍缩速度还会加快。
这说明什么?
如果只看重建这一个目标，模型会本能地"抄近道"，专挑最容易还原像素细节的浅层特征，把深层的语义信息直接甩掉不用。这就像考试只按照卷面分数发奖学金，学生自然会把所有精力都花在能立刻拿分的题目上，而不去碰那些需要长期积累但暂时看不到分数的知识点。深层特征那种更抽象、更利于生成的信息，就这样被系统性地边缘化了。
**FuseReg：不挑一个固定组合，而是让模型见识所有可能的组合**
面对这个矛盾，研究团队没有去寻找"更好的那一个固定融合方案"，而是换了个思路：既然固定组合总会顾此失彼，那干脆不要固定，训练时随机抽取层的子集来喂给模型。这就是这篇论文提出的核心方法，叫做FuseReg，全称是层融合正则化。
具体做法是这样的：对于每一张训练图片，独立地为每一层生成一个"要不要保留"的随机开关（专业说法是Bernoulli掩码），保留概率由一个参数p控制。如果某次采样把所有层都关掉了，就重新采样一次，保证至少留一层。然后把留下来的那些层的特征取平均，作为这次训练用的融合特征。
这里有个关键的数学性质：无论具体保留哪几层，这个随机融合特征的期望值都严格等于把全部23层平均起来的结果。也就是说，随机采样不会改变"平均画像"，它只是在这个平均画像周围引入了扰动，扰动的方向恰好就是各层之间意见不一致的地方。研究团队用数学证明了这一点：随机子集融合在期望上等于全层均值，同时把方差精确地限定在层间分歧的方向上。
这就好比一个班级要选出班长候选人的平均画像，如果每次投票都随机抽几个同学来投票，长期下来选出的候选人形象会趋近于全班的真实共识，但每一次单独的投票结果会因为抽到的同学不同而有所摆动，摆动的幅度恰好反映了班里对这个候选人有多大分歧。如果不这样随机抽样，而是每次都固定叫那几个嗓门最大的同学来投票，选出的结果就会系统性地偏向这几个人的偏好，永远无法反映全班的真实想法，这正是原来固定层融合方案的问题所在。
论文进一步用线性模型证明，这种随机采样在数学上等价于给解码器和生成器的目标函数里加了一项显式的惩罚，这项惩罚专门针对那些"层与层之间说法不一致"的方向进行压制。换句话说，模型被逼着去学习那些无论用哪个层子集都能稳定重建出来的信息，而不是依赖某一层独有的、其他层不认可的信息。
论文还专门证明了一件事：任何固定的、不随输入变化的融合权重方案，包括那个学习到的门控机制，都无法在数学上复现随机子集采样所带来的方差结构。用严格一点的说法，随机子集权重的二阶矩阵秩是K（层数），而任何固定权重方案的二阶矩阵秩最多是1。这意味着随机化带来的东西是本质上无法用固定权重替代的，不是"再调调参数就能追上"的差距。
**一个解码器，能应对所有场景**
方法讲完了，效果如何?
研究团队在ImageNet-256数据集上用DINOv3-L编码器做了实验，训练出的FuseReg解码器（drop rate设为0.95）拿去和两个专门针对固定融合方案训练的RAEv2解码器做对比。
在k=7这个融合方式（只用后7层）上测试，专门为k=7训练的解码器达到22.58分贝，FuseReg解码器达到23.77分贝，反而更高。在k=23这个融合方式（用全部23层）上测试，专门为k=23训练的解码器达到27.04分贝，FuseReg达到27.52分贝，同样更高。最夸张的是单层测试，只用第11层的特征去重建图片，两个专门方案的解码器分别只能给出17.50和14.31分贝，直接崩掉了，而FuseReg解码器还能稳稳维持在25.13分贝。
这就像考试的时候，专门刷一种题型的学生一旦题型变了就抓瞎，而广泛见识过各种题型组合的学生，遇到任何组合都能应付自如，甚至比那些只练过这一种题型的学生考得还好。如果不做这种广泛的训练，模型就会像那个只会做固定题型的学生一样，稍微换个考法就彻底失灵，这正是原来固定融合方案在实际部署时最大的隐患，你永远不知道下游会拿哪种组合来考验它。
论文里还有一张很直观的图（论文中的图2），展示了解码器中间层特征的余弦相似度图。简单说就是，给定图片里的几个关键点，看看模型认为图里哪些区域和这几个点相似。FuseReg解码器无论输入是全层融合、稀疏融合还是单层融合，都能保持清晰稳定的空间结构，物体的轮廓和区域划分基本一致；而RAEv2解码器一旦偏离它训练时用的那个固定融合方式，这种空间对齐关系就明显混乱破碎了。
**换个解码器，生成质量就能提升近三成**
这里有个更有意思的实验，直接回答了一个问题：如果生成器（那个负责构思画面、生成隐变量的部分）完全不变，光是把解码器换成更鲁棒的版本，生成效果会不会变好?
研究团队固定住一个已经训练好的RAEv2 DiT生成器，让它按照原来的方式生成一批隐变量，然后分别用不同drop rate训练出来的解码器去把这些隐变量渲染成最终图片。整个过程中，生成的那批隐变量始终不变，唯一变化的只有渲染它们的解码器。
结果在k=23这个原生融合空间下，把普通解码器换成FuseReg解码器（drop rate 0.95），无引导gFID从3.01降到了2.21，降幅达到27%左右。如果切换到k=7这个生成器原本没见过的融合空间，效果更加惊人：无引导gFID从27.73暴跌到1.92，有引导的gFID从16.35降到1.42。
这说明了一件很关键的事：即使生成器构思出来的隐变量完全没变，仅仅是提升"翻译"这些隐变量的能力，就能让最终画出来的图片质量大幅提升。这就好比同一份手稿，找一个只会照本宣科的翻译和找一个博学多才、能理解上下文语境的翻译，翻译出来的成品质量天差地别，即便原始手稿一字未改。如果继续用那个只认一种句式的翻译，哪怕原稿写得再好，最终呈现给读者的东西也会大打折扣。
不过这条曲线并不是一路平滑向好的。在k=23这个原生融合下，随着drop rate增大，无引导gFID一开始反而略微变差，有引导gFID中途一度从1.25恶化到1.49，直到drop rate拉到0.95才重新回落到1.25。这说明正则化的强度需要拿捏分寸，不是越强越好，中间过程存在一些震荡。
**两个阶段，两种药量**
既然解码器这边受益明显，那如果把同样的随机融合思路用到生成器本身，会怎样?
研究团队把这个思路扩展到了DiT训练过程中。做法是让DiT在训练时接收的不是固定的全层融合隐变量，而是加了噪声的随机子集融合隐变量，但预测目标始终是全层融合的"标准答案"。这样一来，生成器就被迫学会从各种不完整、有偏差的输入中，依然准确恢复出那个共识性的全层表示。
解码器这边的drop rate记作p_dec，生成器这边的记作p_dit。论文没有假设这两个参数应该设成一样的值，而是分别调节，因为两个阶段面对的预测问题本质不同：解码器是把隐变量翻译成像素，生成器是在一条带噪声的轨迹上预测一个干净的目标。
在DiT-Base规模上做网格搜索，基线（两个drop rate都是0）的gFID是13.96。只调解码器（p_dec=0.9，p_dit=0）能降到12.96；只调生成器（p_dec=0，p_dit=0.7）能降到12.09；但两个一起调（p_dec=0.9，p_dit=0.7），gFID直接降到9.93，降幅达到29%。这个联合效果比两个单独效果简单相加还要多出1.16个点，说明两者存在某种互相放大的作用，不是简单的1+1=2。
换到更大规模的DiT-XL上，情况又变得微妙起来。基线gFID是2.91，这个规模下单独调生成器几乎没什么用，但配合解码器一起调，最优组合能把gFID压到2.38。而如果看IS这个指标，情况又不一样，两个drop rate都调大反而能拿到最高的221.1分。
IS*：Inception Score，另一种衡量生成图像质量和多样性的指标，数值越高通常代表生成效果越好。
这提醒我们一件事：没有一个万能的"最佳药量"，具体该往哪个方向调，取决于模型规模、评价指标，甚至是否使用了引导采样这些额外条件。这就像医生开药，同一种病，儿童和成人的剂量不同，急性期和恢复期的用法也不同，没有一个放之四海而皆准的固定配方。如果贸然把某个规模下调出来的最优参数直接套用到另一个规模，很可能非但没有提升，反而拖累了效果。
**为什么drop rate高不等于信息损失多**
论文里有一个容易被误解的地方，值得单独说清楚。
drop rate设成0.95，是不是意味着95%的信息都被扔掉了?
并不是。因为前面提过，随机子集融合在期望上始终等于全层均值，所以drop rate高，只是意味着每一次采样时波动的幅度更大，而不是平均意义上信息变少了。用论文里的数学语言说，drop rate通过一个系数c_K(p)来控制层间分歧方向上的方差大小，这个系数被证明是有界的，且随drop rate单调不减，但它本身并不代表信息量的损失，只代表扰动强度的放大。
这解释了为什么在某些设置里，drop rate从0一路调到0.9甚至0.95，效果是先变差再变好的非单调曲线：一开始扰动强度增加，模型还没学会如何应对这种波动，效果会短暂下滑；但当扰动强度足够大、训练时间足够长之后，模型被迫学会了真正稳健的、不依赖单一层捷径的表示方式，效果才会反超回来。
**FuseReg到底改变了解码器的什么**
论文还做了一系列更细致的分析实验，来解剖FuseReg究竟在解码器内部改变了什么。
研究团队做了"留一法"测试，也就是每次拿掉一层特征，看PSNR掉多少，掉得越多说明模型对这一层的依赖越强。结果显示，原始RAEv2解码器对浅层（第1到第5层左右）的依赖非常陡峭，一旦去掉某个浅层，PSNR能掉3分贝左右；而FuseReg解码器这条曲线明显更平缓，对任何单一层的依赖都没有那么极端。
另一项测试是看"单独用某一层重建能到多少分贝"。原始RAEv2解码器用单层重建的效果参差不齐，很多层单独拿出来重建质量很差，最高峰值也就20来分贝；而FuseReg解码器用单层重建时，即使是表现最好的层也能冲到35分贝左右，远超原始方案，说明每一层单独都携带了更充分、更可用的信息。
这些结果背后传递的信号是：FuseReg并没有改变编码器本身，编码器是完全冻结的，各层原始蕴含的信息量没有增加一分一毫。但通过训练方式的改变，解码器学会了更充分地从"已经存在但过去被浪费"的信息中提取价值。这就像同一个图书馆，藏书量丝毫未变，但原来的读者只知道去最显眼的那个书架找书，换了一批训练有素的读者之后，整个图书馆的每一层书架都被合理利用了起来。如果继续放任读者只逛那一个显眼书架，图书馆里大量有用的藏书就永远派不上用场，这正是原始固定融合方案长期存在却没被意识到的浪费。
**内部引导机制带来的额外复杂性**
论文最后讨论了一个更微妙的现象：RAEv2这类生成器常常会用到一种叫做内部引导的技巧，也就是把DiT主输出和一个中间层的REPA预测结果做加权组合，用两者的差异来"修正"最终输出，公式大致是最终结果等于主预测加上引导强度乘以主预测和REPA预测的差值。
这种引导机制让事情变得更复杂，因为它依赖的是两个预测结果之间的差异，而不是单一预测结果本身。如果这两个预测对层间分歧的响应方向恰好一致，减法会让误差相互抵消；但如果响应方向相反，误差反而会被放大。这也解释了为什么在有引导和无引导两种设置下，最优的drop rate组合会出现明显不同的偏好，因为引导机制内部这层"减法结构"会重新塑造扰动最终传导到输出的路径。
**从更早的思路说起，FuseReg站在了谁的肩膀上**
这篇论文并非凭空而来。表征自编码器这条路线最早由Zheng等人在2025年提出，核心思想是用冻结的自监督视觉编码器定义扩散模型的隐空间，此后被扩展到视频生成领域，比如VideoRAE和V-RAE分别把这套思路用在了不同的视频生成任务上。
而直接催生FuseReg的，是Singh等人在2026年提出的RAEv2，正是RAEv2首次系统性地揭示了固定层数k控制着重建和生成质量之间的权衡关系，这个发现构成了本文最核心的出发点。和FuseReg同期，还有两篇工作也在研究多层特征融合的问题：一篇叫DRoRAE，通过分阶段训练一个深度路由的融合模块来适配解码器；另一篇是关于ViT的注意力多层探测方法，为每个下游任务学习一套层间注意力权重。这两篇工作和FuseReg的共同出发点一致，都认识到信息在层间分布不均，固定融合方式会造成浪费，但它们最终都是去寻找"某一个更好的固定组合"，而FuseReg选择的是让模型对整个组合空间都具备鲁棒性，这是路线上的分野。
从训练技巧的谱系上看，FuseReg也和一批经典正则化方法沾亲带故，比如经典的Dropout随机丢弃神经元、嵌套Dropout按顺序保留前缀、LayerDrop随机丢弃Transformer层、还有Matryoshka表示学习训练可被截断的嵌套式表示。这些方法共同的做法都是在训练时随机改变模型可用的计算路径或表示子集，用来实现正则化或者灵活部署。FuseReg站在这条谱系的延长线上，只不过把随机化作用的对象换成了一个此前没人细究过的接口：哪些编码器层应该组成最终的隐变量。
写在后面
读完这篇论文，最触动我的其实不是那些漂亮的数字提升，而是那个学习门控坍缩到单一层的实验。
一个模型如果只被要求做一件事，它会不惜代价去优化那一件事，哪怕代价是把对整体更有价值的信息全部丢掉。这个现象其实远超出图像生成的范畴，任何一个用单一目标函数驱动的系统，都可能出现这种"抄近道式塌缩"。
论文里还有一个细节我觉得值得单独拎出来说：作者证明了固定融合和随机子集融合在数学上有一个本质性的秩差异，一个是秩1，一个是秩K。这不是靠调参能弥补的差距，是结构性的，这意味着不管你怎么精心挑选那个"最优固定组合"，理论上限都摆在那里。这种用严格数学去证明"某条路走不通，无论怎么走都走不通"的方式，比单纯堆实验数据更有说服力。
还有一点让我意外：论文承认自己没有解决好guided采样场景下的问题，DiT-XL在有内部引导时，最优的drop rate组合和无引导时完全不一样，而论文只是描述了这个现象，给出了一个线性模型下的解释思路，并没有给出一个明确的调参指南。这种坦诚"我们还没完全搞懂"的态度，反而让人更愿意相信剩下的结论。
一个被冻结的编码器，内部其实藏着比表面用到的更多信息，问题只在于你用什么方式去唤醒它们。
Q&A
Q1：FuseReg是什么？
A：FuseReg是一种训练方法，通过在训练时随机采样冻结视觉编码器的不同层子集来融合特征，让解码器和生成器都能适应各种层组合方式，从而缓解表征自编码器中重建质量和生成质量互相矛盾的问题。
Q2：为什么固定层融合方案会有问题？
A：因为浅层特征更利于像素级重建，深层特征更利于生成建模，两者偏好不同。固定用某一组层会导致重建和生成中的一方受损，比如DINOv3-L上用全部23层重建质量更好但生成gFID反而从1.65恶化到3.01。
Q3：FuseReg效果提升有多大？
A：仅替换解码器、不改动生成器的情况下，无引导gFID降低了27%；同时正则化解码器和生成器两个阶段，DiT-Base上的无引导gFID降低了29%，从13.96降到9.93。
