Young's Blog

Reconstruction vs. Generation: Taming Optimization Dilemma in Latent Diffusion Models^[1]

作者主要是来自华科的Jingfeng Yao等人。论文引用[1]:

Time

• 2025.Mar

Key Words

• aligned latent space with visual tokenizers

总结

1. 用Transformer架构的Latent diffusion models擅长生成高质量的images，然而，最近的研究表明了这个两阶段设计的优化困境：增加visual tokenizers中的per-token feature dimension的时候，提高了reconstruction 的质量，它需要很大的diffusion models何更多的training iterations来实现相当的生成性能。因此，现有的systems经常遇到次优化的解决方式，要么是由于tokenizer的information loss造成的visual artifacts，要么是由于大量的计算导致难以收敛，作者argue，这个dilemma源于学习没有约束的高维latent spaces的困难，为了解决这个，作者提出了，当训练visual tokenizers的时候，将latent space和预训练的vision foundation models进行对齐。作者提出了VA-VAE(Vision foundation model Aligned VAE)，极大地扩展了latent diffusion models的reconstruction-generation 的边界，使得DiTs在高维latent spaces快速收敛，为了利用VA-VAE的全部的potential，作者构建了一个增强版的DiT，用了改进的训练策略和架构设计，称之为LightningDiT。

   阅读全文 »

Scalable Diffusion Models with Transformers

作者是来自UC Berkeley的William Peebles和NYU的Saining Xie。论文引用[1]:Peebles, William S. and Saining Xie. “Scalable Diffusion Models with Transformers.” 2023 IEEE/CVF International Conference on Computer Vision (ICCV) (2022): 4172-4182.

Time

• 2023.Mar

Key Words

• Diffusion Model

总结

1. 作者探索了基于Transformer的一种新的diffusion model, 作者训练image的latent diffusion model，用transformer代替常用的U-Net的backbone，在latent patches上进行操作。作者通过前向传播复杂度(以Gflops)为指标，分析了Diffusion Transformer的可扩展性。作者发现，通过增加Transformer的深度/宽度，或增加输入tokens的数量，从而提高Gflops的DiTs，始终具有更低的FID分数，除了具备良好的可扩展性之外，最大的DiT-XL/2 models在ImageNet数据集上超过了所有的diffusion models

   阅读全文 »

LaVin-DiT: Large Vision Diffusion Transformer^[1]

作者是来自悉尼大学、NUS等机构的Zhaoqing Wang等人。论文引用[1]:Wang, Zhaoqing et al. “LaVin-DiT: Large Vision Diffusion Transformer.” ArXiv abs/2411.11505 (2024): n. pag.

Time

• 2025.Mar

Key Words

• Diffusion Transformer
• 将ST-VAE 和Diffusion transformer结合起来，有效地处理高维vision data，通过in-context learning， LaVin-ViT能够适应多个tasks不需要fine-tuning。

总结

1. 本文提出了Large Vision Diffusion Transformer(LaVin-DiT)，是一个可扩展的、统一的foundation model，以generative框架的形式，处理超过20种cv tasks，不同于现有的large vision models，它们直接从NLP的架构修改而来，很少依赖于高效的自回归方式，扰乱了对于vision data很重要的spatial relationships。LaVin-DiT引入了key innovations来优化generative performance for CV tasks，首先：为了解决visual data的高维问题，作者引入了一个spatial-temporal variational autoencoder，将data编码到一个连续的latent space；其次，对于generative modeling，作者开发了一个joint diffusion transformer，能够progressively 产生vision outputs；第三，对于统一的多任务训练，执行in-context learning，input-target pairs作为task context，指导diffusion transformer在latent space中，将outputs和specific tasks进行对齐，在推理的时候，一个task-specific context set和test data作为queries，使得LaVin-DiT不需要fine-tune就能泛化到多个tasks，在大量的vision datasets上训练，这个model从0.1B扩展到3.4B，展示出了scalability和SOTA的性能。

   阅读全文 »

MoE Jetpack: From Dense Checkpoints to Adaptive Mixture of Experts for Vision Tasks^[1]

作者是来自华科的Xingkui Zhu等人。论文引用[1]:Zhu, Xingkui et al. “MoE Jetpack: From Dense Checkpoints to Adaptive Mixture of Experts for Vision Tasks.” ArXiv abs/2406.04801 (2024): n. pag.

Time

• 2024.Jun

Key Words

• pretrained dense checkpoints
• SpheroMoE
• 一句话总结：作者利用预训练的dense weights来初始化MoE models，将dense model的MLPs划分成多个experts，确保expert的多样性和适用性，同时，为了进行微调，提出了SpheroMoE layer，提出了一些改进来避免expert的over-specialized。

总结

1. 稀疏的激活的MoE相对于密集激活的models，提供了一个有效的alternative，将提高的精度和计算效率进行结合。然而，从零开始训练MoE要求大量的data和计算资源，限制了它们的广泛采用。为了解决这个问题，作者引入了MoE Jetpack，一个旨在将丰富且现成可获取的密集checkpoints微调为专家混合（MoE）模型的框架。MoE Jetpack引入了两个key techniques：(1). checkpoint recycling，用dense checkpoints对MoE models进行初始化，来加速收敛和增强精度。减小对大规模预训练的需求; (2). hyper-spherical adaptive MoE(SpheroMoE) layers，优化MoE的架构，来增强微调的性能和效率。

Decoupled Kullback-Leibler Divergence Loss^[1]

作者是来自NTU、CUHK等机构的Jiequan Cui等人，论文引用[1]:Cui, Jiequan et al. “Decoupled Kullback-Leibler Divergence Loss.” ArXiv abs/2305.13948 (2023): n. pag.

Time

• 2024.Oct

Key Words

• breaking asymmetric optimization property
• inserting class-wise global information to mitigate sample-wise bias
• KL loss在反向传播上等价于DKL loss

总结

1. 在本文中，作者深入研究了KL散度损失，数学上证明了它等价于Decoupled Kullback-Leibler(DKL) Divergence loss, DKL包含一个weighted Mean Square Error(wMSE) loss和一个引入了soft labels交叉熵损失。多亏了DKL loss的decomposed formulation，作者有两方面的改进，首先，通过打破它的非对称优化的特点，解决了KL/DKL在像知识蒸馏等场景的局限。这个修改确保了wMSE在训练的时候总是有效的，提供了额外的constructive cues。其次，作者引入了class-wise global information，来缓解来自个体岩本的bias。有了这两个提高，作者推出了Improved Kullback-Leibler Divergence Loss (IKL)。

   阅读全文 »

DenoiseRep: Denoising Model for Representation Learning^[1]

论文引用[1]:作者是来自北交大的Zhengrui Xu等人。论文引用[1]:Xu, Zhengrui et al. “DenoiseRep: Denoising Model for Representation Learning.” Neural Information Processing Systems (2024).

Time

• 2024.Nov

Key Words

• 将来自生成任务中的denoising process集成到判别式任务中
• 一句话总结：用embedding layers输出的features，对齐进行denoising 操作，训练denoising layers，推理的时候，将denoising layers的参数和embedding layers的参数进行融合，得到最终的输出，思路挺好

总结

1. denosing model被证明是一个很强的生成model，但是很少用来做discriminative tasks。representation learning再discriminative tasks中是重要的。本文中，作者提出了新的Denoising model用于representation learning,通过联合feature extraction和denoising来提高feature discrimination，DenoiseRep将backbone中的每个embedding layer 视为一个denoising layer，处理cascaded embedding layers，就像step-by-step denoising features一样。这个框架统一了feature extraction和denoising，前者progressively将low-lelel的features嵌入到high-level，后者step-by-step 对feautures进行denoising。之后，DenoiseRep融合feature extraction和denoising layers的参数，理论上表明了融合之前和之后的等效性，使得feature denoising 是computation-free的，使得feature denoising无需额外计算。DenoiseRep是一个label-free的算法，提高了features，但也和label互补。

Masked Pre-training Enables Universal Zero-shot Denoiser^[1]

作者是来自中科大和上海AI Lab的Xiaoxiao Ma等人，论文引用[1]:Ma, Xiaoxiao et al. “Masked Pre-training Enables Universal Zero-shot Denoiser.” Neural Information Processing Systems (2024).

Time

• 2024.April

Key Words

• masked pre-training

总结

1. 作者观察到：通过masking 策略，在大量images上训练的model，很自然地和distribution knowledge进行了嵌入，然后同时获得了strong image denoising的潜力，基于这个观察，作者提出了新的zero-shot denoising范式，Masked Pre-train then Iterative fill(MPI), MPI首先通过masking训练model，然后采用预训练权重，在单个noisy image上，进行高质量的zero-shot image denoising。具体来说包括两个步骤：1.Masked Pre-training 涉及对大量的随机masking的图像进行重构，来训练model，以此来获得通用的表征，得到不同noise degradation甚至图像类型不同的image的上的zero-shot denoising的潜力. 2. Iterative Fill 探索了pretrained knowledge，用于有效地zero-shot denoising，通过利用pre-trained weights，来iteratively优化image，聚焦于交替重构不同的image parts，然后在有限的次数内，合成完整的denoised image。

Multi-Head Mixture-of-Experts^[1]

作者是来自MSRA的Xun Wu等人，论文引用[1]:Wu, Xun et al. “Multi-Head Mixture-of-Experts.” ArXiv abs/2404.15045 (2024): n. pag.

Time

-2024.Apr

Key Words

• low expert activation
• multi-head
• 一句话总结：类似多头注意力的操作，将输入分成多给sub-tokens，每个sub-tokens给到experts，最后将所有的输出在进行merge，还原为初始的形状，每个sub-tokens包含了不同feature space的语义信息

总结：

1. **稀疏MoE在不增加计算成本的情况下，扩展了model的capacity，然而，它展示出了low expert activation的问题，仅有一小部分experts被激活，用于优化，导致suboptimal的性能，限制了在复杂任务中学习大量experts的有效性。在本文中，作者提出了Multi-MoE，MHMoE将每个输入的token或分成多个sub-tokens，然后这些sub-tokens被分配给多个并行的experts进行处理，无缝合成为原来的token form。以上的操作使得MH-MoE显著地提高了expert的activation，同时在不同的experts汇总，集体attend to 多个representation spaces，来加深context understanding，另外，值得注意地是: MH-MoE直接可以执行，和其它的SMoE框架解耦，使得很容易地和这些框架集成。

Self-Guided Masked Autoencoder^[1]

作者是来自Google和首尔国立大学的Jeongwoo Shin等人，论文引用[1]:Shin, Jeongwoo et al. “Self-Guided Masked Autoencoder.” Neural Information Processing Systems (2024).

Time

Key Words

• Masked Autoencoder

总结

1. MAE是用于表征学习的一种自监督的方式，广泛地应用于CV中的下游任务。尽管它很成功，但是，但还是没有完全揭示它是如何学习的。在本文中，作者做了深入的分析，发现：MAE从pretraining早期阶段，学习patern-based patch-level clustering。基于这个理解：作者提出了self-guided masked autoencoder，通过利用patch clustering中的progress，内在地产生informed mask，代替原始的MAE的随机的masking，作者的方法不需要依赖任何外部的models或者supplementary information，显著地提高了它的learning progress，完好地保持了MAE自监督的本质的优势。

LLMDet: Learning Strong Open-Vocabulary Object Detectors under the Supervision of Large Language Models[1]

作者是来自中山大学、阿里等机构的Shenghao Fu等人，论文引用[1]:Fu, Shenghao et al. “LLMDet: Learning Strong Open-Vocabulary Object Detectors under the Supervision of Large Language Models.” ArXiv abs/2501.18954 (2025): n. pag.

Time

• 2025.Jan

Key Words

• image-level and region-level captions
• 一句话来说：之前的开集检测器，用的都是short captions for each object，都是一些coarse descriptions，这个工作构建了一个更大的、更详细的caption 数据集，然后，利用LLM，能够作为image-level和region-level的caption，得到一个很好的开集检测器

总结

1. 最近开集检测器用大量的region-level 标注的数据实现了很好的性能。在这个工作中，作者展示了，通过为每个image生成image-level的detailed captions，将开集的detector和一个LLM一起训练，能够实现性能的提升。为了实现这个目标，作者搜集了一个数据集，GroundingCap-1M，每个image都有一个关联的grounding labels和image-level的detailed caption，有了这个dataset，作者用一个标准的grounding loss和一个caption generation loss，来微调这个开集检测器，作者利用LLM来产生region-level的short captions for each region of interest 和image-level的long captions for whole image, 在LLM的监督下，得到了一个detector LLMDet，超过了baseline。