Deep Generative Models

Deep Generative Models is a course on probabilistic foundations and learning algorithms for various deep generative models. It is taught by Prof. Stefano Ermon at Stanford University. The course material is available on Course Website and YouTube.

강의에서 다루고자 하는 generative model은 기본적으로 확률분포 $p(x)$를 학습하는 것이다. 주어진 데이터들과 어느 정도의 prior knowledge를 이용하여 이러한 모델을 학습할 수 있다. 학습된 확률분포 $p(x)$로부터 샘플을 뽑으면 그것이 바로 "생성"을 하는 과정이다. 다만 이러한 과정은 내부적으로 이루어지며 $p(x)$를 명시적으로 계산할 수 없더라도 거기서 샘플을 뽑을 수 있는 모델도 존재한다.

컴퓨터 그래픽스와 컴퓨터 비전은 서로 밀접한 관련이 있는데, 컴퓨터 그래픽스가 주로 사물이나 환경에 대한 High level description을 2D 이미지로 렌더링하는 방법에 대한 학문이라면, 컴퓨터 비전은 반대로 2D 이미지를 보고 그 scene에 대한 고차원적인 understanding을 하고자 하는 학문이다.

Topics

The first lecture is an introduction to this course.

The rest of the lecture covers the following topics:

• Lecture 2: Background
• Lecture 3: Autoregressive Models
• Lecture 4: Maximum Likelihood Learning
• Lecture 5: VAEs I
• Lecture 6: VAEs II
• Lecture 7: Normalizing Flows I
• Lecture 8: Normalizing Flows II
• Lecture 9: GANs I
• Lecture 10: GANs II
• Lecture 11: Energy Based Models I
• Lecture 12: Energy Based Models II
• Lecture 13: Score Based Models
• Lecture 14: Energy Based Models III
• Lecture 15: Evaluation of Generative Models
• Lecture 16: Score Based Diffusion Models
• Lecture 17: Discrete Latent Variable Models
• Lecture 18: Diffusion Models for Discrete Data