Diffusion 公式推导 2
Diffusion 公式推导 中对 DDPM 进行了推导，本文接着对 DDIM 进行推导。
目录
- 六. 模型改进
六. 模型改进
从扩散模型的推理过程不难看出，DDPM 有一个致命缺点 —— 推理速度过慢，因为逆扩散是从 x T x_{T} xT 到 x 0 x_{0} x0 的完整过程，无法跳过中间的迭代过程。为了加快推理过程，DDIM (Denoising Diffusion Implicit Models) 对 DDPM 进行了改进，采用的是一个非马尔科夫过程，使得生成过程可以在更少的时间步内完成。
从原理角度来看 1，DDIM 假设 q ( x t − 1 ∣ x 0 , x t ) q (x_{t-1} \mid x_0, x_t) q(xt−1∣x0,xt) 是一个高斯分布，对其进行待定系数：
q ( x t − 1 ∣ x 0 , x t ) ∼ N ( k x 0 + m x t , σ 2 ) (21) q (x_{t-1} \mid x_0, x_t) \sim \mathcal{N}\left(kx_0+mx_t, \sigma^2\right) \tag{21} q(xt−1∣x0,xt)∼N(kx0+mxt,σ2)(21)
因此有：
x t − 1 = k x 0 + m x t + σ ϵ 其中 ϵ ∼ N ( 0 , I ) (22) x_{t-1} = kx_0+mx_t + \sigma \epsilon \quad \text{ 其中 } \epsilon \sim \mathcal{N}(0, \bold I) \tag{22} xt−1=kx0+mxt+σϵ 其中 ϵ∼N(0,I)(22)
将（7）式代入，得到：
x t − 1 = k x 0 + m x t + σ ϵ = k x 0 + m ( α ‾ t x 0 + 1 − α ‾ t ϵ ‾ 0 ) + σ ϵ = ( k + m α ‾ t ) x 0 + m 1 − α ‾ t ϵ ‾ 0 + σ ϵ = ( k + m α ‾ t ) x 0 + ϵ ′ (23) \begin{aligned} x_{t-1} & = kx_0+mx_t + \sigma \epsilon\\ & = kx_0+m(\sqrt{\overline{\alpha}_t} x_{0} + \sqrt{1-\overline{\alpha}_t} \overline \epsilon_{0}) + \sigma \epsilon\\ & = (k+m\sqrt{\overline{\alpha}_t})x_0 + m\sqrt{1-\overline{\alpha}_t} \overline \epsilon_{0} + \sigma \epsilon\\ & = (k+m\sqrt{\overline{\alpha}_t})x_0 + \epsilon' \end{aligned} \tag{23} xt−1=kx0+mxt+σϵ=kx0+m(αtx0+1−αtϵ0)+σϵ=(k+mαt)x0+m1−αtϵ0+σϵ=(k+mαt)x0+ϵ′(23)
其中， m 1 − α ‾ t ϵ ‾ 0 + σ ϵ m\sqrt{1-\overline{\alpha}_t} \overline \epsilon_{0} + \sigma \epsilon m1−αtϵ0+σϵ 可以合并成 ϵ ′ \epsilon' ϵ′ 是因为高斯分布的可加性，因此有 ϵ ′ ∼ N ( 0 , m 2 ( 1 − α ‾ t ) + σ 2 ) \epsilon' \sim \mathcal{N}(0, m^2(1-\overline{\alpha}_t) + \sigma^2) ϵ′∼N(0,m2(1−αt)+σ2)。
将（7）式变换成 x t − 1 x_{t-1} xt−1 的形式，然后和（23）式联立：
x t − 1 = α ‾ t − 1 x 0 + 1 − α ‾ t − 1 ϵ ‾ 0 x t − 1 = ( k + m α ‾ t ) x 0 + ϵ ′ \begin{aligned} x_{t-1} &= \sqrt{\overline{\alpha}_{t-1}} x_{0} + \sqrt{1-\overline{\alpha}_{t-1}} \overline \epsilon_{0}\\ x_{t-1} &= (k+m\sqrt{\overline{\alpha}_t})x_0 + \epsilon' \end{aligned} xt−1xt−1=αt−1x0+1−αt−1ϵ0=(k+mαt)x0+ϵ′
对应项系数相等得到：
α ‾ t − 1 = k + m α ‾ t 1 − α ‾ t − 1 = m 2 ( 1 − α ‾ t ) + σ 2 (24) \begin{aligned} \sqrt{\overline{\alpha}_{t-1}} &= k+m\sqrt{\overline{\alpha}_t}\\ 1-\overline{\alpha}_{t-1} &= m^2(1-\overline{\alpha}_t) + \sigma^2 \end{aligned} \tag{24} αt−11−αt−1=k+mαt=m2(1−αt)+σ2(24)
因此有：
m = 1 − α ‾ t − 1 − σ 2 1 − α ‾ t k = α ‾ t − 1 − 1 − α ‾ t − 1 − σ 2 1 − α ‾ t α ‾ t (25) \begin{aligned} m &= \sqrt{\frac{1-\overline{\alpha}_{t-1} - \sigma^2}{1-\overline{\alpha}_t}}\\ k &= \sqrt{\overline{\alpha}_{t-1}} - \sqrt{\frac{1-\overline{\alpha}_{t-1} - \sigma^2}{1-\overline{\alpha}_t}} \sqrt{\overline{\alpha}_t}\\ \end{aligned} \tag{25} mk=1−αt1−αt−1−σ2=αt−1−1−αt1−αt−1−σ2αt(25)
和 DDPM 逆扩散过程一样，代入（7）式将 x 0 x_0 x0 替换成 x t x_t xt 表示，再将（25）式代入（22）式，得到：
x t − 1 = k x 0 + m x t + σ ϵ = ( α ‾ t − 1 − 1 − α ‾ t − 1 − σ 2 1 − α ‾ t α ‾ t ) ( x t − 1 − α ‾ t ϵ ‾ 0 α ‾ t ) + 1 − α ‾ t − 1 − σ 2 1 − α ‾ t x t + σ ϵ = α ‾ t − 1 α ‾ t x t + ( 1 − α ‾ t − 1 − σ 2 − α ‾ t − 1 ( 1 − α ‾ t ) α ‾ t ) ϵ ‾ 0 + σ ϵ = 1 α t x t + ( 1 − α ‾ t − 1 − σ 2 − 1 − α ‾ t α t ) ϵ ‾ 0 + σ ϵ (26) \begin{aligned} x_{t-1} &= kx_0+mx_t + \sigma \epsilon\\ &= (\sqrt{\overline{\alpha}_{t-1}} - \sqrt{\frac{1-\overline{\alpha}_{t-1} - \sigma^2}{1-\overline{\alpha}_t}} \sqrt{\overline{\alpha}_t})(\frac{x_t - \sqrt{1-\overline{\alpha}_t} \overline \epsilon_{0}}{\sqrt{\overline{\alpha}_t}}) + \sqrt{\frac{1-\overline{\alpha}_{t-1} - \sigma^2}{1-\overline{\alpha}_t}}x_t + \sigma \epsilon\\ &= \sqrt{\frac{\overline{\alpha}_{t-1}}{\overline{\alpha}_t}}x_t + (\sqrt{1-\overline{\alpha}_{t-1} - \sigma^2}-\sqrt{\frac{\overline{\alpha}_{t-1}(1-\overline{\alpha}_t)}{\overline{\alpha}_t}}) \overline \epsilon_{0} + \sigma \epsilon\\ &= \frac{1}{\sqrt{\alpha_t}}x_t + \left(\sqrt{1-\overline{\alpha}_{t-1} - \sigma^2}-\sqrt{\frac{1-\overline{\alpha}_t}{\alpha_t}}\right) \overline \epsilon_{0} + \sigma \epsilon\\ \end{aligned} \tag{26} xt−1=kx0+mxt+σϵ=(αt−1−1−αt1−αt−1−σ2αt)(αtxt−1−αtϵ0)+1−αt1−αt−1−σ2xt+σϵ=αtαt−1xt+(1−αt−1−σ2−αtαt−1(1−αt))ϵ0+σϵ=αt1xt+(1−αt−1−σ2−αt1−αt)ϵ0+σϵ(26)
ϵ ‾ 0 \overline \epsilon_{0} ϵ0 通过 U-Net 进行预测，其他都是已知参数。网上的教程都是推导到（26）式处就说不是马尔科夫假设，所以不需要严格遵守 x t → x t − 1 x_{t} \rightarrow x_{t-1} xt→xt−1 2 3。也有从相隔多个迭代步数采样向前推的，参见 一个视频看懂DDIM凭什么加速采样|扩散模型相关。
\
\
总之，DDIM 推理时可以隔多步进行采样，通过一个确定性映射直接将噪声转换为数据，避免了 DDPM 中的随机性，在减少生成时间步的同时，保持生成图像的高质量。推理过程中的确定性映射表示如下：
x τ i − 1 = α ˉ τ i − 1 ( x τ i − 1 − α ˉ τ i ϵ θ ( x τ i , τ i ) α ˉ τ i ) + 1 − α ˉ τ i − 1 − σ τ i 2 ϵ θ ( x τ i , τ i ) \mathbf{x}_{\tau_{i-1}} = \sqrt{\bar{\alpha}_{\tau_{i-1}}} \left( \frac{\mathbf{x}_{\tau_i} - \sqrt{1 - \bar{\alpha}_{\tau_i}} \epsilon_\theta(\mathbf{x}_{\tau_i}, \tau_i)}{\sqrt{\bar{\alpha}_{\tau_i}}} \right) + \sqrt{1 - \bar{\alpha}_{\tau_{i-1}} - \sigma_{\tau_i}^2} \epsilon_\theta(\mathbf{x}_{\tau_i}, \tau_i) xτi−1=αˉτi−1(αˉτixτi−1−αˉτiϵθ(xτi,τi))+1−αˉτi−1−στi2ϵθ(xτi,τi)
其中 τ = { τ 1 , τ 2 , . . . , τ N } \tau = \{ \tau_1, \tau_2, ..., \tau_N \} τ={τ1,τ2,...,τN} 是时间步长序列。通过这个机制，DDIM 可以在生成过程中跳过多个步骤。
https://zhuanlan.zhihu.com/p/675510886
一文带你看懂DDPM和DDIM（含原理简易推导，pytorch代码） ↩︎
DDPM与DDIM简洁版总结 ↩︎
DDPM和DDIM公式推导。(精简版) ↩︎