ScoreDiffusionModel icon indicating copy to clipboard operation
ScoreDiffusionModel copied to clipboard

The Pytorch Tutorial of Score-based and Diffusion Model


파이토치로 Scratch부터 시작하는 Score-based & Diffusion Model입니다.

  • NCSN, NCSNv2, DDPM, DDPMv2, VESDE/VPSDE 와 같은 모델의 튜토리얼을 만들어 볼 예정입니다.
  • 코드와 함께 블로그에 글을 정리할 예정입니다. 글과 함께 보시면 더 이해하기 쉬울 것입니다.

What is Score-based Diffusion Model?



흔히 Score-based / Diffusion Model이라고 불리는 Diffusion-based Model은 일반적인 GAN과 VAE와 다른 생성모델입니다. 데이터에서 시작하여 Explict한 분포의 랜덤 노이즈로 수렴하는 Process를 정의해서 학습하고, 그 프로세스의 역방향을 이용해 Sampling하는 생성모델입니다. 하지만, Diffusion-based Model에 대한 진입장벽이 꽤 높은 편입니다. 그렇기 때문에 Diffusion-based Model에 대한 간단한 정리과 PyTorch 튜토리얼을 만들어보고자 합니다.



Content


Model Tutorial Code Blog Paper Official Code Model Type
Generative Modeling by Estimating Gradients of the Data Distribution Link Link Paper GitHub Score-based Generative Model
Improved Techniques for Training Score-Based Generative Models Paper GitHub Score-based Generative Model
Denoising Diffusion Probabilistic Models Link Link Paper GitHub Diffusion Model
Improved Denoising Diffusion Probabilistic Models Paper GitHub Diffusion Model
Score-based generative model through stochastic differential equation Paper GitHub VESDE / VPSDE

Contributor