当AI画图从"多步走"变成"一步到位":EPFL等攻克单步图像生成难题

这项由瑞士洛桑联邦理工学院(EPFL)、当A多步到位等攻法国Valeo.ai及索邦大学联合主导的图从题研究成果,以预印本形式于2026年7月2日发布,走变论文编号为 arXiv:2607.02375。成步成难读者可通过该编号获取完整技术细节。克单
当前,步图Midjourney、像生FLUX等主流AI绘图工具虽能产出惊艳画面,当A多步到位等攻但其底层逻辑往往依赖多步迭代(如20至50步),图从题类似画家从草稿到定稿的走变繁琐过程。这种“多步走”策略虽保证了准确性,成步成难却严重限制了推理速度。克单本研究旨在解决这一核心痛点,步图提出了一种名为“表征分布匹配”(Representation Distribution Matching,像生 RDM)的新范式,并进一步推出了改进版 iRDM。当A多步到位等攻研究证明,单步生成的图像质量不仅可行,甚至可超越传统四步模型,实现了从“逐步修正”到“一步到位”的技术跨越。
一、核心原理:为何“一步画图”极具挑战?
理解这一突破的关键,在于厘清AI如何定义图像的“真实性”。
在生成式AI中,判断图像质量本质上是衡量生成数据分布与真实数据分布之间的差异。传统扩散模型和流匹配模型采用“逐步去噪”策略,如同遵循详细菜谱烹饪,必须按顺序完成每一步,导致推理缓慢。
RDM则采取了截然不同的思路:直接约束最终结果的分布。它不规定中间过程,而是要求生成图像在特征空间中的统计分布与真实图像一致。这种“结果导向”的机制天然支持单步生成。然而,如何精准衡量“分布一致性”以及选择何种“特征空间”,成为本研究攻克的两大技术难点。
二、双维设计:比较方式与特征空间解耦
研究团队将RDM框架解耦为两个独立维度,以消除以往研究中变量耦合带来的干扰:
- 比较方式(Metric):使用何种数学工具量化两组分布的差异。
- 比较场所(Space):在哪个预训练神经网络提取的“特征空间”中进行比较。
通过类比葡萄酒鉴赏,“比较方式”如同评判标准(酒精度、单宁等),“比较场所”如同品鉴维度(香气、口感等)。以往方法常将二者绑定,导致难以归因。本研究通过独立测试这两个维度,找到了最优组合。
三、技术突破一:重估“最大均值差异”(MMD)
在比较方式维度,研究团队发现曾被业界弃用的最大均值差异(MMD),若修正估算方法,实则极具潜力。
1. MMD的误区与修正
传统MMD包含两项:
* 排斥项:衡量生成样本内部的差异性。
* 吸引项:衡量生成样本与真实数据集的相似度。
此前MMD效果不佳,主要源于对“吸引项”的估算存在高噪声。研究团队引入Nystrom近似技术,从ImageNet等大规模数据集中选取4096个代表性“地标点”,构建一个固定的全局参考点。训练时,模型只需将生成图像与此固定参考点比对,避免了每次重新采样真实数据带来的噪声波动。
2. 实验验证
在64维螺旋数据重构测试中,Nystrom-MMD在所有批量大小下均表现出最高的稳定性与准确性,显著优于精确MMD、随机傅里叶特征MMD及Sliced-Wasserstein等方法。
四、技术突破二:大批量训练与联合分布匹配
1. 梯度缓存与大批量优势
研究团队利用梯度缓存(Gradient Accumulation)技术,突破了显存限制,实现了远超业界常规的大批量训练(5120至10240张/批次)。实验显示,批量过小会导致估计噪声过大,而5120左右的批量能在计算预算内达到质量最优区间。
2. 联合图文匹配(Joint Distribution Matching)
针对条件生成任务中常见的“图文不符”问题,团队设计了联合分布匹配方案。将图像特征与文本描述特征拼接后共同进行分布匹配,强制模型同时满足“视觉真实”与“语义一致”双重标准。
五、技术突破三:多编码器集成与动态权重分配
1. 单一评委的局限性
实验表明,仅依赖单一顶级编码器(如DINOv2)进行优化,会导致模型“过拟合”该编码器的特定偏好,产生视觉上的瑕疵(如物体结构不合理)。这揭示了单一评判标准的盲区。
2. “评审团”机制
研究团队组建了一个包含10个不同范式预训练模型(如Inception, CLIP, DINOv3, SigLIP2等)的“评审团”。为确保公平,团队引入了基于强化学习思想的PID拉格朗日方法进行动态权重分配:
* 动态调整:根据各编码器对当前生成样本的“满意度”自动调整权重。
* 短板效应:优先提升表现最差的编码器权重,确保模型在所有维度上均衡进步,防止模型钻空子。
六、评估体系创新:SWr14评分标准
为避免模型“应试训练”,研究团队设计了全新的评估指标 SWr14:
* 换尺:使用与训练损失(MMD)完全不同的Sliced-Wasserstein距离进行评估。
* 换人:使用14个编码器(含4个训练未使用的留出编码器)计算平均分。
* 基准:以真实验证集数据得分为1.0作为基准,越接近1.0越好。
该指标具有极高的抗作弊性,能真实反映图像质量。
七、iRDM在ImageNet上的卓越表现
在ImageNet-256标准测试中,iRDM从基线模型优化4000步后,取得了突破性成绩:
* SWr14得分:1.30,远超此前最佳单步模型(2.05),并优于所有已发布的多步模型。
* 人类偏好:在PickScore评估中,iRDM生成的图像有71.2%的概率被判定优于基线模型。
* 超越真实:更令人震惊的是,iRDM生成的图像在PickScore上有63.6%的概率被认为比真实照片更具美感,成为首个在该指标上超越真实照片的单步生成模型。
八、从四步FLUX到一步FLUX:高效蒸馏
研究团队将iRDM应用于商业级模型 FLUX.2 [klein](40亿参数,四步生成),实现了高质量的一步蒸馏:
* 高效蒸馏:利用30万张精心筛选的参考数据(COCO+GenEval),冻结四步模型,仅用180步(约90小时H200 GPU时间)完成后训练。
* 性能超越:
* GenEval得分:一步iRDM (0.826) > 四步FLUX.2 (0.794)。
* PickScore:一步iRDM (22.76) > 四步FLUX.2 (22.58)。
* 细节对齐:在双目标物、颜色、空间关系等需要高精度图文对齐的任务中,一步模型全面超越四步模型。
消融实验证实,联合图文匹配是提升提示词忠实度的关键因素。
九、消融实验:距离函数与权重策略对比
1. 距离函数排名
在同等条件下,六种距离函数的效果排名为:
1. Nystrom-MMD(最佳)
2. 随机傅里叶特征-MMD
3. 精确MMD
4. Fréchet距离
5. Sliced-Wasserstein
6. 漂移场方法
注:Nystrom-MMD优于精确MMD,证明低秩近似提供了更平滑的梯度;优化与评估解耦至关重要。
2. 权重分配策略
对比“平均分配”与“拉格朗日控制”:
* 拉格朗日控制显著改善了最差编码器(短板)的表现(从4.83降至3.49),而平均分配仅降至4.06。
* 这验证了动态权重分配在提升整体分布匹配质量上的有效性。
十、总结与展望
iRDM通过Nystrom-MMD、大批量训练、联合图文匹配、多编码器动态加权及SWr14评估,系统性地解决了单步生成的质量难题。
对用户的意义:
* 实时性:单步生成意味着近乎实时的图像创作,极大提升交互体验。
* 通用性:RDM范式可推广至视频、3D等其他模态,只要具备合适的预训练特征空间。
尽管SWr14得分(1.30)与完美基准(1.0)仍有差距,但iRDM已迈出坚实一步。未来优化方向包括多尺度核函数、任务特定编码器组合及更丰富的条件耦合方式。
Q&A
Q1:iRDM为何只需一步即可生成图像,而无需像扩散模型那样多步迭代?
A:iRDM的训练目标并非模拟“从噪声到图像”的逐步去噪轨迹,而是直接匹配生成图像与真实图像的最终分布。由于约束的是最终结果的统计特性而非中间过程,模型无需经过多步迭代,即可在一次前向传播中直接输出高质量图像。
Q2:为何需要多个编码器共同评判,单个顶级编码器(如DINOv2)不够吗?
A:单个编码器存在固有盲区。模型倾向于针对特定编码器的偏好进行优化,而忽略其他视觉维度,导致“过拟合”或“欺骗评委”。例如,DINOv2可能认可蜥蜴的整体形态,却无法识别打字机按键的逻辑错误。多编码器集成覆盖了更广泛的质量维度,迫使模型生成在视觉上更通用、更真实的图像。
Q3:SWr14评分中“1.0”的含义及为何已发布模型均高于1.30?
A:SWr14将真实验证集图像的得分标准化为1.0作为基准。分数越接近1.0,表示生成图像与真实图像越相似。1.30意味着生成图像与真实图像仍存在一定差距,但这已是目前所有已发布模型中的最优水平。该指标因使用与训练损失不同的数学工具及未参与训练的编码器,极难被“刷分”,能真实反映图像质量。
(责任编辑:娱乐)
- 英阿大战上半场仅3次射门,为本届世界杯上半场最少
- 哈兰德与女友前往意大利度假女友顺便过生日
- 39℃!上海气温一片红!今天起,作息请调整一下↗
- 入伏了!今明天北京高温持续在线体感闷热 注意防暑防晒
- 腾讯混元Hy3大模型发布首周登顶全球调用榜,性能与性价比双突破
- 一夜两消息!庄宇珊落选MVP,朱婷对角官宣退出,利好亚洲第一
- 救护车凌晨在批发市场卸载水果 毕节纳雍:将处理涉事机构及人员
- A股:行情严重异常,金融周期砸盘,释放什么信号?下跌会延续吗
- 电讯报:森林3800万镑报价贝里瓦尔被拒,准备报价4500万英镑
- 均普智能将携全球首条多台机器人并线作业BMS自主量产中试产线 亮相2026WAIC
- 法国:原来我还不如佛得角
- 安孚科技:苏州易缆微已推出适用于3.2T光模块的单波400Gbps光芯片
- 官媒公开点名于东来,释放3个强烈信号,让刘强东和商超界沉默了
- 五星勇士!库里汤普森欲共同说服詹姆斯加盟
- 不要再用爱情定义施南生
- 新华社权威快报丨6月末我国社会融资规模存量超460万亿元
- “周星驰老师在我眼里不是墙角”,这句话有错吗?有
- 韩国股市显著反弹
- 明略科技WebRetriever全球挑战赛报名开启,15000美元奖池等你来赢!
- 罗德里进攻三区完成173次传球为本届世界杯最多,成功率也最高
- 央行:实施好适度宽松的货币政策 保持人民币汇率在合理均衡水平上的基本稳定 views+
- 里斯蒂奇:祝贺浙江取胜,战术方面我们比对手要表现得更好 views+
- 千元内性价比之选:2026入门级国产耳放横向对比 views+
- 均普智能将携全球首条多台机器人并线作业BMS自主量产中试产线 亮相2026WAIC views+
- 腾讯混元Hy3大模型发布首周登顶全球调用榜,性能与性价比双突破 views+
- 经典黑白配:那不是穿搭,是我在明暗之间找到的平衡坐标 views+
- 洪欣张丹峰携女游伦敦,12岁彤彤气质出众,笑起来很甜美 views+
- 上汽智己,如何成为Momenta第一个抬轿人? views+
- 当28岁侯明昊遇上18岁艾米,我才终于明白,为何说CP感是门玄学 views+
- 凯恩、贝林厄姆都进6球,有望破英格兰球员单届大赛进球纪录 views+
