DDPM
Denoising Diffusion Probabilistic Models[1]
作者是来自Berkeley的Jonathan Ho, Ajay Jain和Pieter Abbeel。论文引用[1]:Ho, Jonathan et al. “Denoising Diffusion Probabilistic Models.” ArXiv abs/2006.11239 (2020): n. pag.
Time
- 2020.Dec
Key Words
- Diffusion Model
总结
- 作者展示了使用扩散概率模型（一种受非平衡热力学启发的潜在变量模型）生成高质量图像的结果。我们通过在加权变分界上进行训练获得了最佳结果，该界限是根据扩散概率模型与Langgevin动力学的去噪得分匹配之间的新联系设计的。此外，我们的模型自然地允许一种渐进的有损解压缩方案，该方案可以被解释为自回归解码的推广。
最近所有的深度生成模型在多种数据模态中展示处理高质量的样本。GANs，自回归模型，flows和VAEs合成了显著地image和audio samples，基于能量的建模和得分匹配取得了显著的进展，生成的图像质量已可与 GAN 相媲美。本文展示了diffusion probability models的进步。一个diffusion probabilistic model(diffusion model)是一个参数化的马尔科夫链，用variational inference进行训练，得到和data 匹配的samples。这个chain的transitions通过reverse a diffusion process进行学习，是一个markov chain，逐步地以sampling相反的方向，在数据中增加噪声，直到signal被destroyed。当 diffusion 包含一些高斯噪声的时候，将sampling chain transition设置为条件高斯分布也已足够，这使得神经网络参数化变得尤为简单。
diffusion models可以很直接的进行定义和高效地训练，但是剧作者所知，这里没有任何它们能够产生高质量的samples的demostration。作者展示了diffusion models能够产生高质量的samples，有些时候比其它类型的生成模型更好。另外，我们展示了扩散模型的某种参数化揭示了在训练过程中与multiple noise levels的去噪得分匹配的等价性，以及在采样过程中与annealed Langevin动力学的等价性。作者得到了最好的sample quality results using this parameterization，所以作者考虑这个equivalence作为主要的贡献。
尽管sample quality，作者的models没有competitive log likelihoods，相比于其它的likelihood-based models。作者发现，他们模型的无损编码长度大部分被用于描述难以察觉的图像细节。作者用有损压缩的语言对这一现象进行了更细致的分析，并且证明了扩散模型的采样过程是一种渐进解码的方式，类似于沿比特顺序的自回归解码，但其极大地扩展了通常自回归模型所能实现的可能性。
扩散模型可能看似是一类受限的潜在变量模型，但是它们在执行的时候，允许大量的自由度。作者在diffusion models和denoising score matching上建立了一个新的显式的连接，产生了一个简单的、weighted variational bound objective for diffusion models。最终，作者的model design通过simplicity和empirical results进行justify。