Flow Matching 与 DDIM 小记

背景故事

2022 年 10 月左右，同期有三篇关于 Flow 模型用于图像生成的论文发表，并都被 ICLR 2023 录用：

• Flow Matching for Generative Modeling
• Learning to Generate and Transfer Data with Rectified Flow
• Building Normalizing Flows with Stochastic Interpolants

这三篇文章从不同角度出发得推导出了同一个生成模型，下面再整理一下三篇论文的故事讲法。

Flow Matching

CNF 可以用于建模任意的概率路径，然而此前不存在高效的方法 ¹来学习向量场 。Flow Matching 论文提出了条件流匹配方法（Conditional Flow Matching, CFM）实现从数据集中采样学习向量场 。首先引入 Flow Matching 损失函数，用神经网络 来回归近似向量场 ：

再来进一步考虑如何构造可从数据集中采样求得的 和 。将数据集中的样本 视作条件，那么 作为条件概率路径 的边缘分布可以通过积分得到：

类似的，向量场 可以视作条件向量场 的边缘分布，通过积分得到:

原文证明了条件向量场 确实能生成条件概率密度路径 。进一步，论文证明了条件流匹配损失函数

的梯度等价于 FM 损失函数 的梯度，故可以使用 CFM 损失函数训练 CNF 模型。此结论并未依赖于具体的条件概率路径 或条件向量场 的设计。

在图像生成模型中，一般把高斯噪声作为先验分布，即 。流映射在 条件下总是可以写成

可以证明此时的条件速度场具有唯一的形式

DDIM 的均值 和方差 可以直接带入到上式中，得到 Flow Matching 框架下的条件速度场。

论文又提出 OT 速度场的设计，使用线性插值的均值 和方差 。通过实验发现 OT 速度场训练收敛更快且 FID 更低。

Rectified Flow

Rectified Flow 使用一个简单的 ODE 来学习传输映射 。从 出发，沿速度场 进行演化，得到 ：

问题转换为学习速度场 。直观的想法（先前的工作）是想最小化 ODE 采样结果 的分布 和目标分布 的距离 ，如 KL 散度，但多次模拟求解 ODE 的代价太高了。发现此问题中，速度场 实际上是过参数化的：我们只关心开头和结尾的分布应当是 和 ，而中间的分布并不重要，可以人为地设置非常强的先验。简单的选择是让中间分布是开头结尾的某种线性插值，走直线路径，这样不仅能更接近 OT 目标，还能减少 ODE 的求解次数。

对源分布和目标分布中观测到的样本 和 ，定义线性插值

则 满足以下 ODE：

还不能直接用这个 ODE 作为速度场 ，因为它不是因果的， 依赖于最终状态 。论文提出 Rectify 过程来因果化速度场 。思路如下：

Rectify 过程的 Rewire 特点

1. 不同的插值轨迹 之间可能存在相交点，在同一个 处会有多个可能的 取值，因为不知道要沿哪条轨迹走。
2. 另一方面，在 ODE 中， 必须由 唯一确定，于是不同的 轨迹是不能相交的。
3. 于是在相交点处， 可以取值为 在所有可能的 取值上的平均值。
4. 导致原本的直线轨迹 必须在相交点处弯曲来避免相交，并改变原分布和目标分布的映射关系。

以上 Rectify 过程更新了传输映射 ，但可证明保持了边缘分布 和 不变。训练目标为

代入线性插值轨迹得到训练目标

此训练目标就可以直接用在代码里了。

Rectify 过程将 轨迹转换为因果的 轨迹，不仅保持边缘分布不变，还可以证明对于凸的代价函数 ，传输代价不增

Reflow

Reflow 拉直轨迹

原本 轨迹是直的，经过 Rectify 过程后 会在相交点弯曲，起不到一开始选择线性插值轨迹时，保持直线的优势。论文提出 Reflow 过程来修正这个问题，使用 Rectify 过程得到的 配对耦合重新训练速度场 并反复迭代：

论文证明了对于下面的 “直线程度” 度量

满足

随 收敛到 0。也就是说，经过 Reflow 过程后， 轨迹会越来越接近直线。

Reflow 其实就是从 OT 角度解释了先前的时间步蒸馏技巧。常见的预训练模型都没有做 Reflow 蒸馏。

Stochastic Interpolants

WIP.

Diffusion

DDPM 和 DDIM 也有很多种推导的方法，下面摘自 苏神博客 中贝叶斯角度的推导，比较接近 DDIM 论文的推导方式。

DDPM

与 GAN 类似，DDPM 模型将生成定义为将一个随机噪声 变换成真实图像 的过程。然而，像 GAN 一样一步将噪声映射到真实图像的分布是困难的，因此 DDPM 考虑逐步地将噪声 变换为真实图像。首先定义一个前向过程，即将真实图像样本 逐步添加噪声，直到完全成为高斯噪声，则生成图像的过程即为将噪声 逐步变为样本数据的反向过程。前向过程的每个步骤可以表示为

其中 是真实图像样本数据， 是完全随机的高斯噪声， 是设置的时间步数。 和 是控制每一步添加噪声强度的系数。前向过程也可以写成条件概率分布的形式

其中 代表在前向过程中 到 的条件概率分布。

注意到如果规定 ，则可以从 直接推导出

于是 中包含 个独立的高斯噪声 的线性组合。代入 的条件，得到

将 记为 ， 记为 ${_t}，则 关于 的条件概率分布为

也可以写成

只要 ，经过充分多的时间步后， 就会足够接近标准高斯分布 。利用 ，可以快速从 采样到 。接下来考虑反向过程，关键在于求条件概率分布 以便从噪音多的时间步还原噪音少的时间步。根据贝叶斯公式

然而， 和 是未知的。考虑引入 作为条件变量，则

代入 和 ，可以写出 服从的分布

使用此分布采样 需要已知 ，然而 正是最终要生成的图像。DDPM 引入可学习的函数 来近似估计未知的 ，训练的目标为最小化损失函数 。DDPM 实际上没有使用神经网络 直接预测原始图像 ，而是用于预测添加的噪声 ，这样在每一步上神经网络的输出都服从标准高斯分布，有助于提高训练的稳定性。根据 ，可以重参数化 为

进而得到完整的损失函数

最后，用 近似 代入 ，得到与 无关的反向过程条件概率分布

并进一步得到 DDPM 的迭代采样公式

其中 ，。

在 DDPM 原始的实验中， 取值为 1000， 根据经验设置为 . 观察 ，可以发现每一步的采样都需要计算神经网络 ，因此计算量非常大。同时 DDPM 的每一步采样都包括对随机噪声 的采样，结果具有不确定性。

DDIM

DDIM（Denoising Diffusion Implicit Models）模型在 DDPM 的基础上进一步推导了采样公式，发展了允许跳过时间步和确定性的采样方法，并允许将扩散模型的采样过程与常微分方程和随机微分方程的求解算法结合起来。本节将介绍 DDIM 的主要推导过程和结论。

注意到在 DDPM 的神经网络 的训练过程 中，只依赖了关于 的假定 ，而与具体的 的设置 无关，因此在求解贝叶斯公式 时，不再代入 ，而是假设 服从高斯分布

则关于 的采样公式可以写成

比较上式与 的系数，消去 和 ，得到

是关于 服从的分布的通解，具有自由参数 . 沿用 DDPM 训练的神经网络模型，用 近似 代入 ，得到 DDIM 的迭代采样公式

公式中的三项可分别视作从 预测的 ，从当前步指向 的方向和随机噪声。注意到 是可自由选取的超参数，当 时， 变为确定性的采样方式

另外，在推导 的过程中并不依赖于 ，同样的过程也适用于推导任意两个时间步 和 之间的采样公式

这实质上允许了以任意的时间步序列 进行采样，不仅可以跳过时间步节约计算量，还允许确定性地从图像样本 完全或者部分地反推对应的带噪声图像 ，为带参考图像作为条件的图像生成和编辑提供了注入参考图像信息的方法，称为 DDIM 反转。 也可以视作使用欧拉法求解常微分方程，可以推导出对应的常微分方程形式或者随机微分方程的形式，然后使用 Heun 法、Runge-Kutta 法等效率更高的数值求解方法进行采样。

Flow 与 DDIM 联系

三篇提出 Flow 模型的论文都分析了 DDIM 模型在 Flow 框架中的地位。在 FM 论文中，可以使用 DDIM 的均值和方差特性来设计条件速度场 ，从而得到 Flow Matching 的条件流匹配损失函数 。在 Rectified Flow 框架和 Stochastic Interpolants 框架中，DDIM 相当于使用球面插值取代了线性插值，并应用了时间步缩放。

后续有一些博客文章整理和可视化了 Flow Matching 和 DDIM 的关系：

• Diffusion Meets Flow Matching - DeepMind
• Let us Flow Together - UT Austin

Flow 和 Diffusion 的关系可以从重参数化、插值方式和 ODE/SDE 的角度来讨论。

重参数化

此处重参数化指的是在模型中神经网络预测的对象不一样。DDIM 采样公式可以写成以下简单形式：

其中 是从当前步对最终干净图像的预测， 是当前步对噪声的预测。一般 Diffusion 模型中神经网络预测的是 ，也可以选择预测 。

Flow 模型的采样公式为

神经网络预测速度场 。于是发现无论神经网络预测的是 ， 还是 ，采样公式都可以统一地写成

其中 是神经网络， 和 是

表中 指一般的 Flow Matching 模型， 特指 Rectified Flow 模型的线性插值速度场。

此处跳过 DeepMind 博客中关于采样时重参数化和缩放的讨论，在下一小节讨论插值时会提到。

考虑重参数化对训练过程的影响。常用的 DDIM 的损失函数为