DiffusionART

论文基本信息

• 题目：DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models
• 作者：Zhenglin Wan、Jiayu Chen、Zhengfeiyang Zhang、Pengfei Zhou、Wangbo Zhao、Fangyuan Kong、Pengfei Wan、Kun Gai、Yang You
• 机构：新加坡国立大学 HPC-AI Lab、Kling AI、香港科技大学
• arXiv：2610.12572v1，2026 年 10 月 8 日提交；类别 cs.LG
• Daily Papers：Hugging Face 页面 2026 年 10 月 12 日榜首
• 代码与资源：作者公开项目主页、训练代码、模型与提示词数据集
• 链接：Hugging Face 详情页；arXiv 摘要页；arXiv HTML 全文；arXiv PDF 全文；项目主页；代码仓库

一句话结论

DiffusionART 的关键不是再发明一种把终局奖励塞给每个去噪步骤的策略梯度，而是先在同一提示词生成的一组终点样本上计算“奖励与样本的协方差方向”，再把这个共享方向直接回归到真实反向 rollout 经过的状态上。这样既避开 DiffusionNFT 的前向—反向一致性干扰，也比 Flow-GRPO 的逐转移 likelihood-ratio 信号更直接；第二次更新产生与状态漂移成比例的恢复力，信赖域掩码则拦截过度外移。论文在 SD3.5-M、FLUX.1-dev、HunyuanVideo-13B 和 Wan2.1-I2V-14B 上给出了很强的效率与稳定性结果，但证据主要来自作者选用并参与优化的奖励模型，尚不能等同于真实人类偏好或全面生成质量提升。

背景与动机

扩散模型后训练的奖励只在终点出现

图像和视频扩散模型通常通过噪声或速度回归学习数据分布，但部署目标常常是视觉质量、文本一致性、运动自然度或人类偏好。这些目标未必可微，甚至只能由外部 API、规则程序或人类比较给出一个黑盒分数。在线强化学习因此要解决一个核心矛盾：昂贵奖励在完整图像或视频生成后才出现，参数更新却要作用于几十个去噪状态。

现有方法大致分为两条路线：

1. 反向过程策略优化。 Flow-GRPO、DanceGRPO、Flow-DPPO 等把去噪过程视为有限时域策略，对采样到的转移应用 PPO/GRPO 式更新。优点是训练状态来自模型真正走过的反向轨迹；缺点是通常要把确定性 ODE 改写成带密度的 SDE，并将同一条轨迹的终点优势分配给多个只部分决定结果的转移，信用分配噪声较大。
2. 前向过程奖励回归。 DiffusionNFT 对已生成的干净终点重新加噪，以正、负奖励权重回归速度目标。它不需要计算转移 likelihood，更新效率高，却依赖正负分支联合训练以及滞后的 EMA rollout policy；EMA 衰减过弱会崩溃，过强又会减慢学习，而且最佳日程随任务变化。

DiffusionART 的出发点是：先解释 DiffusionNFT 为什么需要这些“稳定技巧”，再把奖励方向和稳定机制拆开设计，而不是继续调 EMA。

NFT 目标里藏着一个与奖励无关的力

对于一个带噪状态，论文定义三个量：

• g：奖励与理想前向速度之间的条件协方差，即真正的 reward-improving direction；
• e：由 rollout policy 实际使用的反向速度，与其生成终点所诱导的理想前向速度之间的差；
• q：在当前状态条件下，样本属于高奖励方向的平均权重。

作者推导出，联合正负分支的 NFT 更新力可以写成：

F_NFT(s_t) = 2g + (2q - 1)e

第一项是想要的奖励指导，第二项则试图修补或放大前向—反向不一致。提示词级奖励中心化只能保证跨样本平均接近平衡，不能保证每个状态都有 q = 1/2，所以正负分支只能部分抵消 e。噪声越少，状态越能泄露终点质量，q 往往越偏离 1/2，残余一致性力也越明显。

论文进一步把 NFT 损失分解成奖励指导与二次恢复项。纯 on-policy 更新一开始与旧策略完全相同，恢复梯度为零，残余一致性力可能把训练推向崩溃；EMA 的真正作用并非主要来自“使用旧分布采样”，而是保留一个滞后参考，让当前模型偏离后出现拉回力。作者用两个消融支持这一解释：只保留 EMA rollout、去掉旧策略锚点仍会崩溃；不用 EMA、把同一 rollout 拆成两次更新则能稳定，但 NFT 的恢复梯度聚合后过强，训练慢了 15.2 倍。

核心贡献

1. 揭示 NFT 式前向扩散强化学习的隐藏一致性力，将其更新分解为奖励协方差方向与前向—反向速度差，并解释联合正负训练和 EMA 为何有效、又为何需要任务级调参。
2. 提出 Aggregation-First Reward Tilting：先在每个提示词的一组终点上聚合奖励方向，再把它直接施加到反向 rollout 状态，从构造上移除 NFT 的一致性项。
3. 提出 双更新恢复机制：同一 rollout 使用两个互不重叠的 minibatch 做两次 MSE 更新，第二次更新自动产生与局部漂移成比例的恢复力，不再依赖 EMA 日程。
4. 为确定性 ODE rollout 构造参考 SDE 的 KL 漂移代理，并用信赖域掩码只阻止已经越界且继续向外的更新，保留把策略拉回来的修正。
5. 将同一协方差框架扩展到成对偏好。只需一对样本，归一化后的方向就等价于从 loser 指向 winner，不要求可微或绝对标定的标量奖励。
6. 在文本到图像、文本到视频和图像到视频任务上覆盖 LoRA 与全参数训练、数十亿至 14B 参数模型、单奖励与多奖励设置，并报告训练步数、GPU 小时、训练曲线与消融结果。

方法：先聚合奖励方向，再做状态级恢复

1. 用奖励倾斜得到提示词级方向

对提示词 c，当前模型生成 K 个终点 x_i，黑盒奖励为 R_i。如果对当前生成分布按 exp(τR) 做轻微倾斜，论文证明当 τ = 0 时，终点均值的变化率就是奖励与终点的协方差：

Cov(R, x | c) = (1/K) Σ_i (R_i - mean(R)) (x_i - mean(x))
G(c) = Cov(R, x | c) / RMS(Cov(R, x | c))

RMS 归一化去除了不同提示词、不同奖励模型在量纲和方差上的差别，因此算法不再需要额外的 guidance-strength 系数。对于 rectified flow，样本速度目标为 u_t = x_0 - ε，而噪声 ε 与终点独立，所以终点协方差也对应各噪声层级的平均奖励改善方向。

这里的顺序很重要：DiffusionNFT 先为各样本构造前向速度目标，再在参数梯度中期待正负项互相抵消；DiffusionART 则先把同一提示词下的终点和奖励聚成一个 G(c)，再将这个不含前向速度的共享方向交给反向状态。目标写为：

v_target(s_t) = v_old(s_t) + G(c)

v_old(s_t) 是 rollout 时缓存的速度预测。每个真实访问过的状态都收到明确的输出空间方向，而不是把轨迹级标量优势乘到各自的采样噪声上。

2. 两次更新把恢复力变成漂移的函数

算法把一个 rollout batch 随机拆成两个不重叠 minibatch，并对同一个冻结目标各做一次 MSE 更新。设第一次更新前的速度场为 v^(0)，第一次更新后在状态 s_t 上的位移为：

d(s_t) = v^(1)(s_t) - v^(0)(s_t)

第一次更新的下降方向正比于 G(c)；第二次则正比于：

G(c) - d(s_t)

因此 -d(s_t) 是局部恢复项：第一次移动小，第二次仍以指导为主；第一次移动过大，拉回作用自动增强。与 EMA 用一个全局滞后系数间接控制恢复强度不同，这个机制按状态的实际漂移响应。论文消融中，只有一次更新的 ART 前期上升很快、之后逐渐退化；加入第二次更新后才获得长期稳定性。

3. ODE 信赖域只拦截“越界且继续外移”

确定性 ODE 转移没有可直接计算的有限 KL。作者沿用 Flow-GRPO 的 ODE-to-SDE 参考转移，为新旧速度预测构造方差相同的高斯分布，以其单位维度 KL 作为漂移量 m(s_t)。阈值固定为 δ = 10^-5，参考噪声参数固定为 ν = 0.8。

第二次更新仅在两个条件同时成立时被屏蔽：

1. 当前状态的 KL 代理已经超过阈值；
2. 当前位移与 G(c) - d(s_t) 的内积为正，即这一步仍会继续向外移动。

若更新方向会拉回旧策略，即使已经越界也不屏蔽。权重还乘以时间 t，让高噪声状态获得更大权重。这个 mask 不参与反向传播，每次更新前重新计算。

4. 成对偏好不需要先校准成绝对分数

DiffusionART-Pairwise 将同一提示词的 K 个终点分成 K/2 对，为 winner、loser、tie 分别赋值 1、0、1/2，然后原样代入协方差。对单一非平局样本对，协方差只差一个最终会被 RMS 归一化消掉的常数，所以指导方向就是：

G_pair ∝ x_winner - x_loser

这使算法可以直接接入人类二选一或 pairwise reward model。附录还显示，先汇总同一提示词的多个 pair 再统一归一化，比每个 pair 单独产生方向更低方差：GenEval held-out 得分为 0.91，对照的 pair-local 方法为 0.78。

5. 一次训练迭代

完整流程可以压缩为六步：

1. 用当前模型和 ODE solver 为每个提示词生成 K 个终点，同时缓存沿途状态与旧速度预测。
2. 用黑盒标量奖励或成对比较评价终点。
3. 对每个提示词计算并归一化奖励—终点协方差 G(c)。
4. 为所有 rollout 状态冻结目标 v_old + G(c)。
5. 将样本拆成两个不重叠 minibatch，各做一次加权 MSE 更新。
6. 每次更新前重算漂移与信赖域 mask；第二次更新自然携带状态级恢复力。

实验设计

模型、任务与基线

主要基线包括 Flow-GRPO、Flow-GRPO-Fast/CPS、DanceGRPO、Flow-DPPO，以及带 EMA 和纯 on-policy 的 DiffusionNFT。图像实验不使用 CFG 或 reference-policy KL；视频实验也不使用 KL 正则。SD3.5-M 的 NFT 基线沿用每个任务专门调过的超参数，而 DiffusionART 使用统一构造。

主要实验结果

1. 图像任务：统一配方兼顾速度和稳定性

在 SD3.5-M 的 GenEval、OCR、PickScore 单奖励任务上，DiffusionART 达到 Flow-GRPO 第 500 步奖励分别只需要其 1/10.0、1/5.2 和 1/9.6 的训练步数。它没有纯 on-policy DiffusionNFT 的严重崩溃，同时训练效率接近经过 EMA 调参的 NFT；在四奖励联合优化时，训练形态仍保持相似。

扩展到 12B 的 FLUX.1-dev 后，作者没有为 DiffusionNFT 重新调 EMA 和 β。NFT 曲线明显波动，DiffusionART 则继续快速上升。第 500 步的 GenEval 评估为：

这个结果支持“减少任务级稳定性调参”的主张，但也要注意，NFT 在 FLUX 上没有重新寻优，因此它更像超参数迁移压力测试，而非各方法都充分调优后的上限对比。

2. 文本到视频：训练效率提升最显著

在 HunyuanVideo-13B、TA:VQ:MQ 权重 7:2:1 的设置下，DiffusionART 在第 29、46 步分别达到训练 VQ 6 和 MQ 3，其余基线在记录轨迹中没有达到。达到 VQ 5.5 时，它使用 24 步、63.4 GPU 小时；DiffusionNFT（EMA）使用 273 步、1,401.4 GPU 小时，分别相差 11.4 倍和 22.1 倍。

相对最强基线，DiffusionART 的 VQ 和 MQ 分别高 31.4% 与 57.4%，TA 基本持平。使用 VQ:MQ 1:1、不含 TA 的另一组实验中，它达到 DiffusionNFT 与 Flow-GRPO-Fast 后期平均奖励所需的 GPU 小时分别少 12.02 倍和 11.72 倍；最后 50 步平均奖励为 13.018，对照为 10.105 和 8.510，分别高 28.8% 和 53.0%。

3. 图像到视频与大模型全参数训练

在 Wan2.1-I2V-14B 上，DiffusionART 达到 MQ 6 需要 45.8 GPU 小时，Flow-GRPO-Fast 需要 220.3 GPU 小时，相差 4.8 倍。最终评估如下：

这组结果说明方法不仅适用于 LoRA 图像微调，也能用于高维视频 latent 的 13B/14B 全参数更新。不过论文没有给出完整显存峰值、通信开销或多机扩展曲线，“scalable”目前主要由模型规模、任务跨度和 GPU 小时效率支撑。

4. 小组规模和 pairwise 奖励

HunyuanVideo 的 VQ-only pairwise 实验在 400 步时得到：

K=2 的 pairwise 版本使用的 rollout 和训练样本只有 K=8 的四分之一，GPU 小时减少 3.4 倍，最终 VQ 却没有下降。这是论文很有实际意义的结果：如果绝对分数昂贵或不可靠，一次二选一就可能产生足够方向。但表中 K=4 低于 K=2 和 K=8，也说明“对 group size 不敏感”仍需更多随机种子和误差条验证。

5. 消融验证三个组件的分工

• 只用一次 ART 更新：早期学习快，之后逐渐退化，说明共享方向不能替代状态级恢复。
• NFT 两次更新：即使将 β 调到 0.1，仍短暂跌到接近零再恢复，说明恢复机制相同不代表指导方向同样稳定。
• 去掉信赖域 mask：图像任务仍有效，有时更快；视频任务在约第 200 步明显掉点后恢复，晚期梯度与速度漂移尖峰也更大。
• 保留 mask：HunyuanVideo 前 300 步中，第一次更新的最大梯度范数从 3.33 降到 1.96。mask 虽只约束每轮第二次更新，却改善了后续 rollout 的第一次更新状态。
• 与可微奖励 ReFL 对比：DiffusionART 用黑盒奖励值就能以更少 optimizer step 同时改善 VQ/MQ；ReFL 每步只需 K=1，但必须穿过 VLM reward model 和 VAE 反传。两者交换的是 rollout 数量与 reward-backprop 成本，不能只按更新步数判断总成本。

如何理解这篇论文

它把“信用分配”改写成方向估计

传统策略梯度先得到一个标量优势，再让每个随机转移用自己的 score function 把它转成参数方向。DiffusionART 直接从同提示词多个完整输出估计数据空间中的奖励倾斜方向，并在训练前完成聚合。它不回答“哪个去噪步骤具体贡献了多少奖励”，而是用同一个终点方向监督所有已访问状态，再依靠网络 Jacobian 和第二次状态级恢复把这个方向映射回参数空间。

这种做法的优势是方差低、目标简单、无需转移 likelihood；代价是指导比较粗。论文附录也明确承认，提示词级 G(c) 不必等于每个状态的后验最优方向，不同状态对同一参数更新的响应也不同。双更新恢复项解决的是“不要漂得太远”，并不能证明每个状态都获得了精确的因果信用。

EMA 被拆成了可解释的稳定机制

这篇论文的价值不只是一组更好的曲线。它把 EMA 从经验超参数重新解释为“通过滞后锚点提供恢复力”，进而提出一个不依赖时间日程的局部替代：第一步产生位移，第二步自动按位移大小恢复。这个分析框架也可能用于理解其他生成模型后训练算法中，reference model、target network、KL penalty 和多次 minibatch update 到底分别承担什么作用。

训练奖励提升不等于感知质量全面提升

论文的 VQ、MQ、TA、GenEval、OCR、PickScore 等结果证明算法能有效优化指定目标；但许多评估与训练奖励同源，特别是视频部分由 VideoReward 在训练和评估时打分。更高分既可能是真正改善，也可能包含对 reward model 偏好的过拟合。要建立“生成质量更好”的强结论，还需要盲测人类偏好、独立奖励模型、分布外提示词、时序一致性与多样性指标。

局限与审慎解读

• 理论适用范围较窄。 协方差推导依赖 rectified flow 的线性数据—噪声插值与相应速度形式；作者将 diffusion 作为统称，但结果不能自动推广到所有离散扩散、非线性 schedule 或不同参数化。
• 共享方向不是状态条件最优指导。 G(c) 对同一提示词的所有状态相同，可能忽略不同时间步、空间区域和轨迹分支的局部责任；第二次更新主要限制漂移，而不是恢复被聚合掉的细粒度信用。
• 奖励模型闭环风险。 主要实验用自动奖励同时训练和评估，缺少系统的人类双盲评价、独立 evaluator 与 reward hacking 检查。高 VQ/MQ 不应直接解释成真实用户偏好同比提高。
• 统计报告不充分。 曲线与表格没有为主要结果统一提供多随机种子均值、标准差或置信区间；K=4 反而弱于 K=2 的 pairwise 结果说明方差不可忽略。
• 基线调优并非完全对称。 SD3.5-M 的 DiffusionNFT 使用原论文任务级配置，FLUX 则直接迁移这些参数、不重新调优。这能测试超参数可迁移性，却不能代表 NFT 在 FLUX 上的最佳成绩。
• 固定超参数仍需更广泛验证。 δ=10^-5、ν=0.8 和两次更新在文中保持不变，但模型仍采用不同学习率、采样步数、分辨率与 reward mix；跨更多架构和领域后是否仍无需调参尚未知。
• 稳定性证据有时间边界。 视频实验主要运行 400 步，图像实验主要运行 500 步。更长训练、持续在线偏好变化或奖励分布漂移下，恢复力能否继续避免退化没有验证。
• 算力口径仍不完整。 GPU 小时清楚展示了相对训练效率，但论文没有统一报告所有方法的峰值显存、硬件利用率、通信成本、reward model 推理成本和端到端 wall-clock 组成。
• 归一化的边界条件需要工程处理。 当同一提示词的奖励无差异或协方差接近零时，RMS 归一化需要数值保护；pairwise 全部平局也会给出零指导。论文的核心公式没有消除这些退化 batch。
• 尚无独立复现。 论文为 arXiv v1，新方法、代码、模型和数据刚发布，当前数字应视为作者报告结果。

应用影响

视频生成后训练成本可能显著下降

视频 rollout 长、latent 维度高、reward model 也重，信用分配效率会直接决定训练账单。DiffusionART 在 HunyuanVideo 与 Wan2.1 上的 GPU 小时差距说明，若结果可复现，视觉质量、运动质量和文本一致性的联合后训练可以从“反复调 EMA 或跑长 PPO 轨迹”转向更短的回归式更新。

黑盒业务指标更容易接入

算法只需要 reward value，不要求奖励可微。生产系统可以把审核器分数、OCR 正确率、品牌规范检查、物理模拟得分或远程人类反馈接入同一训练环路，而不必把 evaluator 放进反向传播图。需要强调的是，指标可接入不等于指标安全；任何狭窄代理目标都可能被模型利用。

Pairwise 版本适合人类偏好和昂贵评审

绝对质量分数往往难以校准，人类却更擅长比较两个结果。K=2 的实验说明，每个提示词只生成一对候选也可能形成稳定方向。这有望降低视频偏好数据的采样和标注成本，并允许不同评价者只给出 winner、loser 或 tie。

多奖励优化可以减少串行微调

SD3.5-M 和 HunyuanVideo 实验同时组合了构图、文本对齐、人类偏好、视觉质量和运动质量。若不同 reward 的尺度差异能被提示词内中心化与 RMS 归一化稳定处理，团队可在一个训练阶段共同优化多个目标，而不是为每个指标训练并合并独立 adapter。但 reward 权重仍表达产品取舍，算法不会替产品定义“好内容”。

相关工作

第一条路线是 反向过程强化学习。DDPO 首先把去噪链建模为 MDP；Flow-GRPO 将组相对策略优化用于 flow matching，DanceGRPO、Flow-GRPO-Fast/CPS 和 Flow-DPPO 分别从采样、系数保持和散度约束改善效率或稳定性。它们直接更新反向转移，却需要 tractable transition density，并承受终点奖励到中间转移的信用分配噪声。

第二条路线是 前向过程奖励蒸馏。DiffusionNFT 对生成终点重新加噪，以正负奖励加权速度回归换取高样本效率；Centered Reward Distillation 与 Tilt Matching 也从奖励倾斜或中心化角度调整生成分布。DiffusionART 继承“回归比 likelihood-ratio 更直接”的思路，但把指导放回真实反向状态，并先做提示词级协方差聚合。

第三条路线是 可微奖励与离线偏好对齐。ReFL 让 reward model 梯度穿过末段去噪步骤，信号直接但要求 evaluator 可微且显存成本高；Diffusion-DPO 从离线偏好对学习，不需要在线 rollout reward，却受固定偏好数据覆盖范围约束。DiffusionART 位于两者之间：在线收集当前策略样本，但只读取黑盒分数或 pairwise 标签。

第四条路线是 策略稳定化机制。PPO clipping、reference-policy KL、EMA target network 和 trust region 都限制一次更新对生成分布的破坏。DiffusionART 的区别在于把稳定性拆成两层：-d(s_t) 提供连续、漂移自适应的恢复力，mask 只处理已经越界且继续外移的状态。

总结

DiffusionART 对扩散模型强化学习提出了一个很干净的重构：先把同一提示词下“哪些终点更好”汇总成奖励—样本协方差，再把归一化方向直接回归到模型真实经过的反向状态。它绕开了前向回归里的隐藏一致性力，也避免了反向策略梯度用轨迹级标量优势监督每个随机转移的低效方式。双更新将恢复强度绑定到实际状态漂移，信赖域 mask 再为大模型视频训练提供额外保险。

作者报告的结果很有吸引力：FLUX.1-dev 的 GenEval 达到 0.9684；HunyuanVideo-13B 在匹配奖励设置下显著提高 VQ/MQ，并以约 12 倍更少 GPU 小时达到主要基线的后期平均奖励；Wan2.1-I2V-14B 达到指定 MQ 门槛的成本也减少 4.8 倍。Pairwise K=2 则展示了低样本偏好优化的可能。

最值得继续验证的不是“某张表是否再高一点”，而是三件事：统一配方能否跨更广的 diffusion parameterization；自动奖励增长能否通过独立人评与分布外测试；提示词级共享方向在复杂长视频中会不会掩盖状态级信用。若这些问题得到肯定答案，DiffusionART 可能成为视觉生成模型在线后训练的一条实用主线。

参考资料

1. Hugging Face Daily Papers：DiffusionART
2. arXiv：DiffusionART
3. arXiv HTML 全文
4. arXiv PDF 全文
5. DiffusionART 项目主页
6. DiffusionART 代码仓库
7. Flow-GRPO：Training Flow Matching Models via Online RL
8. DiffusionNFT：Online Diffusion Reinforcement with Forward Process
9. Diffusion-DPO：Diffusion Model Alignment Using Direct Preference Optimization
10. DDPO：Training Diffusion Models with Reinforcement Learning