MPI
Masked Pre-training Enables Universal Zero-shot Denoiser[1]
作者是来自中科大和上海AI Lab的Xiaoxiao Ma等人，论文引用[1]:Ma, Xiaoxiao et al. “Masked Pre-training Enables Universal Zero-shot Denoiser.” Neural Information Processing Systems (2024).
Time
- 2024.April
### Key Words
总结
作者观察到：通过masking 策略，在大量images上训练的model，很自然地和distribution knowledge进行了嵌入，然后同时获得了strong image denoising的潜力，基于这个观察，作者提出了新的zero-shot denoising范式，Masked Pre-train then Iterative fill(MPI), MPI首先通过masking训练model，然后采用预训练权重，在单个noisy image上，进行高质量的zero-shot image denoising。具体来说包括两个步骤：1.Masked Pre-training 涉及对大量的随机masking的图像进行重构，来训练model，以此来获得通用的表征，得到不同noise degradation甚至图像类型不同的image的上的zero-shot denoising的潜力. 2. Iterative Fill 探索了pretrained knowledge，用于有效地zero-shot denoising，通过利用pre-trained weights，来iteratively优化image，聚焦于交替重构不同的image parts，然后在有限的次数内，合成完整的denoised image。
Image denoising是图像恢复的一个分支，流行的方法是从多个noisy instances中学习，来恢复noise-degraded images，然而，监督学习(from noisy-clean pairs)和无监督学习使得搜集额外的noisy datasets变得有必要。另外，这样的方法促进了对特定模式或者training noise强度的依赖，阻碍了在unfamiliar noise situations上的性能。 另外一个选择是，zero-shot方法尝试在单个noisy image上训练网络，得到denoised output，不需要额外的noisy data，致力于消除泛化问题的关注，这些techniques包括blind-spot 网络，从corrupted inputs中重建，DIPs利用深度网络的特性，来学习将random noise 映射到noisy images，还有sub-sample based策略，利用spatial correlations，从sub-sampled instances中产生training pairs。
然而，当前的zero-shot 方法对于每个noisy image，从零开始训练新的网络，展示出了两个主要的问题: 尽管当前zero-shot方法的成功依赖于正则化或者设计类似noise perturbations，Under-parameterized networks, dropout-ensemble, blind-spot networks的先验，当个image中的有限的信息训练一个网络通常导致过于模糊的content，noise artifacts或者sub-optimal quality，一些方法倾向于依赖已知的noise distribution，但它们的applicability是受限的，对于每个noisy image，从零开始训练时time-consuming的，现有的zero-shot方法需要数分钟，更快的zero-shot的denoising的通常会在性能上有妥协。
相比于之前的zero-shot方法，从大量的natural images学习feature distribution提供了一个更intuitive 方法，这是基于两点考虑：真实的images时大量的，尽管noise patterns不一样，很多自然的images展示出了common characteristics，作者寻找对pre-defined priors或者regularization依赖较小的zero-shot denoising，旨在得到一个对于多种noise patterns更好的起点，而不是从零开始。为了这个目的，作者探索了Masked image modelling的潜力，不需要自然图像的noisy patterns或者intensities的假设，特别地，作者做了一下的observation：和简单的ensemble operation结合，一个masked pre-trained model，能够对unseen noise degradation的images进行denoising。
基于机上的观察，作者引入了一个zero-shot denoising范式，Masked Pre-train then Iterative fill(MPI), MPI首先在ImageNet上，用pixel-wise masking策略进行预训练，然后pre-trained model在单个带有unseen noise的image上进行优化，用于denoised prediction。推理的时候的优化目标是用来预测masked regions，只有masked areas的预测被保留用于denoise prediction，然后最小化pre-training和推理的gap，这个pre-trained weights提供了更generic的知识，阻止了推理时候过早的over-fitting，降低了strong regularization的需要，作者能够提供更广的noise scenarios，带有很少的关于Noise patterns或者intensities的信息，作者发现，提取的representation能够泛化到medical images，不同于natural ones，它提供了更好的startpoint than scratch training。使得只要10s左右的实现了高质量的denoising
作者的贡献如下：
- 引入了一个novel zero-shot denoising范式，MPI引入了masked pre-training，同时提高了image quality和推理速度。
- 作者开发了一个带有pixel-wise random masks的方法，来捕捉自然图像的distribution knowledge，基于pre-trained knowledge，作者提出了iterative filling，用于在specific noisy image上的zero-shot推理，这个过程用预训练weights进行优化，聚焦于对Noisy image不同parts进行交替地重建，predictions in iterations被用来组合成高质量的denoised output。
作者首先研究了用masking训练的model的特性，masking 策略能够学习对denoising有用的representations。Masked Image Modeling通过在大量的image 上进行训练，得到knowledge distributions，推动了CV的进步，展示出了diverse场景下的适用性，对于高阶的下游任务，被证明了潜力。 为了进一步探索在denoising上的能力，作者用pixel-wise的random masks，在natural image上训练了一个model，评估它和unseen noise distribution的target image的性能，作者观察到，从fixed-state trained model上的average of predictions能够对Unseen noise进行去噪，这个观察表明：一个masked pre-trained model能够作为一个natrual image denoiser，然而，artifacts存在于results中，这归因于缺乏target image中特定的degradation patterns。
利用先前的insight，作者开发了一个高效的zero-shot denoising pipeline，通过从single noisy image中引入noise characteristics，利用pre-trained knowledge，这个model首先用random masks M进行预训练，对应的element-wise negation \(\hat{M}\) 来得到natural image distributions.
Masking策略：给定low-level和high-level tasks在语义上的distinct requirements，作者执行specialized masking 策略，来实现finer-grained image representations。将给定的image划分成random patches，它们的subset被随机的用mask token进行替换，当mask token设为0的时候，masked image和 和random mask \(M \odot I\) 对应于输入image的伯努利采样，对于M中的每个element \(M_[k]\)，预训练策略：在预训练期间，网络被训练用来学习带有random mask的自然图像。 作者将loss的计算聚焦于masked prediction areas \(\tilde{I}\)，这直接使网络朝着重建特定区域努力。
迭代优化过程被设计，用预训练知识用于zero-shot denoising，不像其它的MIM方法，用整个images作为输入进行微调，因为只有一个noisy image是accessible，作者采用自监督的方式，来从noisy image到它本身的mapping，然而，这个直接的self-mapping方法引入了zero-shot inference stage和pre-training stage之间的gap，缺乏学习一个noise identity mapping的constraints。 考虑到以上的挑战，作者保留了相同的masking策略，网络仍然学习重建masked regions，但是是从single noisy image而不是natural image，这导致pixel-based iterative refinement过程，这有点像blind-spot网络的机制，特别地，对于输入的noisy image，随机mask \(\M\) 和对应的element-wise negation \(\hat{M}_t\) in t-th iteration。
- pixel-based iterative refinement：对于一个比较低的mask ratio和重建detailed iamges，作者抛弃了之前优化目标中的unmasked regions上的限制
- 真实世界中的noise展示出了strong spatial correlations，noise和相邻的pixels是相关的，在这样的场景中，采用直接的masking机制，使得model来学习和noise patterns有关的信息，为了解决这个问题，作者用了更大的masking ratios，另外，作者集成了简单的pixel-shuffle down-sampling机制，来降低spatial correlation in noise。
特别地，不是直接处理noisy image，作者处理它的down-sampled 版本，用simple pixel-shuffle with factor d，\(d^2\) sub-samples沿着batch dimension进行concantenated，用于joint denoising，沿着上述的iterative filling机制，作者用了pixel unshuffle to denoised result \(\overline{y}\)，来得到最后的denoised outcome，加上最小的PD操作，来解决spatial correlated noise，解释了预训练weights的效果。
\(Fig.1^{[1]}\)
MPI的overview，