디퓨전 모델

디퓨전 모델(Diffusion Model, 확산 모델)은 데이터에 노이즈를 더하는 과정과 그 반대 방향의 생성을 연결하는 생성 모델입니다. 대표적인 DDPM은 여러 노이즈 수준의 입력에서 추가된 노이즈를 예측하도록 신경망을 학습하고, 생성할 때는 무작위 노이즈에서 출발해 여러 단계의 갱신으로 새 샘플을 만듭니다.

디퓨전은 학습·생성 방식이며, 그 안에서 예측을 수행하는 신경망에는 CNN 기반 U-Net이나 트랜스포머를 사용할 수 있습니다. 아래 자료는 이미지 생성을 중심으로 기본 원리, 잠재 공간·조건부 생성과 샘플링, 구현 순서로 읽을 수 있습니다.

처음 읽기

• An Introduction to Diffusion Models — Hugging Face · 영문

  학습 데이터에 노이즈를 더하고 제거 방향을 학습하는 과정과 무작위 노이즈에서 이미지를 생성하는 과정을 구분해 설명합니다.

• 파이프라인, 모델 및 스케줄러 이해하기 — Hugging Face · 한국어

  Diffusers의 모델·스케줄러·파이프라인 역할과 Stable Diffusion의 텍스트 인코더·U-Net·VAE를 연결하는 과정을 설명합니다.

확산과 노이즈 제거의 기초 논문

• Deep Unsupervised Learning using Nonequilibrium Thermodynamics — Sohl-Dickstein 외 · 영문

  데이터 분포를 점차 단순한 분포로 바꾸고 역방향 과정을 학습하는 확산 기반 생성 모델의 초기 연구입니다.

• Denoising Diffusion Probabilistic Models — Ho 외 · 영문

  노이즈 예측 학습과 반복적인 역방향 확산으로 이미지를 생성하는 DDPM의 목적 함수·모델·샘플링을 제시합니다.

• Denoising Diffusion Implicit Models — Song 외 · 영문

  DDPM과 같은 학습 목적을 사용하면서 비마르코프 과정으로 샘플링 속도와 품질의 균형을 조절하는 DDIM을 제안합니다.

• Score-Based Generative Modeling through Stochastic Differential Equations — Song 외 · 영문

  데이터 분포의 로그 확률 기울기인 스코어와 확률 미분방정식으로 확산·역방향 생성 및 샘플링을 통합해 설명합니다.

잠재 공간과 조건부 생성

• High-Resolution Image Synthesis with Latent Diffusion Models — Rombach 외 · 영문

  오토인코더가 만든 잠재 표현에서 확산을 수행해 계산 부담을 줄이고 교차 어텐션으로 텍스트 등의 조건을 반영하는 LDM을 제안합니다.

• Classifier-Free Diffusion Guidance — Ho·Salimans · 영문

  별도 분류기 없이 조건부·무조건부 예측을 결합해 생성 결과의 품질과 다양성 사이를 조절하는 CFG를 제안합니다.

• Adding Conditional Control to Text-to-Image Diffusion Models — Zhang 외 · 영문

  윤곽선·깊이·자세 등의 공간 정보를 사전학습된 이미지 생성 모델에 조건으로 추가하는 ControlNet을 제안합니다.

트랜스포머를 사용하는 디퓨전

• Scalable Diffusion Models with Transformers — Peebles·Xie · 영문

  잠재 이미지 패치를 처리하는 트랜스포머로 U-Net을 대체한 DiT와 모델 규모에 따른 생성 성능을 분석합니다.

코드와 샘플링

• Diffusion Models from Scratch — Hugging Face · 영문

  PyTorch로 노이즈 추가·제거 모델·학습·생성을 구현하고 단순한 예제를 DDPM의 구조·학습 목표와 비교합니다.

• Denoising Diffusion Implicit Models — Keras · 영문

  연속 시간 DDIM의 노이즈 스케줄·학습·결정적 샘플링을 꽃 이미지 생성 예제로 구현합니다.

• 스케줄러 — Hugging Face · 한국어

  학습된 모델과 샘플 갱신 방법을 구분하고 호환되는 스케줄러를 교체·비교하는 방법을 설명합니다.

플로 매칭으로 이어서 읽기

• Flow Matching for Generative Modeling — Lipman 외 · 영문

  확률 경로의 벡터장을 학습하는 플로 매칭을 제안하며, 확산 경로와 그 밖의 경로를 포함해 연속 정규화 흐름을 학습하는 방법을 설명합니다.

• Step-by-Step Diffusion: An Elementary Tutorial — Nakkiran 외 · 영문

  DDPM·DDIM·플로 매칭의 구성과 관계를 기초적인 수학에서 출발해 단계별로 설명하는 튜토리얼 논문입니다.

관련 문서

• 합성곱 신경망 CNN
• 트랜스포머(Transformer)
• 이미지 생성 AI
• 영상 생성 AI
• AI·에이전트