IDDPM 和 DDIM 对比
IDDPM 和 DDPM 对比
- IDDPM
- DDIM
IDDPM
IDDPM：Improved Denoising diffusion probabilistic models
-
learning Σθ\Sigma_{\theta}Σθ， 即Σθ(xt,t)=exp(vlogβt+(1−v)logβ~t)\Sigma_{\theta}\left(x_{t}, t\right)=\exp \left(v \log \beta_{t}+(1-v) \log \tilde{\beta}_{t}\right)Σθ(xt,t)=exp(vlogβt+(1−v)logβ~t)
βt~=1−αˉt−11−αˉt.βt\tilde{\beta_{t}}=\frac{1-\bar{\alpha}_{t-1}}{1-\bar{\alpha}_{t}}.\beta_{t}βt~=1−αˉt1−αˉt−1.βt -
Lhybrid=Lsimple+λ.LvlbL_{hybrid}=L_{simple}+\lambda.L_{vlb}Lhybrid=Lsimple+λ.Lvlb
- 重参数化的噪声和βt\beta_tβt是什么关系？
噪声是ϵ\epsilonϵ, βt\beta_tβt是方差，q(xt∣xt−1)=N(xt;1−βtxt−1,βt.I)q(x_t|x_{t-1})=\mathcal{N}(x_t;\sqrt{1-\beta_t}x_{t-1},\beta_t.I)q(xt∣xt−1)=N(xt;1−βtxt−1,βt.I)
- improve the noise schedule
DDIM
DDIM: Denoising diffusion implicit models
- 非马尔科夫加噪过程，重写sample函数
- 与DDPM有相同的边缘概率q(xt∣x0)q(x_t|x_0)q(xt∣x0), 比DDPM快10到50倍
- 以改变逆扩散过程中的方差来生成不同的样本