Vorwärtsprozess (Korruption)
Der Vorwärtsprozess injiziert schrittweise Rauschen in saubere Samples, bis die Struktur weitgehend zerstört ist. So entstehen Trainingspaare, die zeigen, welches Rauschen pro Schritt hinzugefügt wurde.
Start mit sauberen Daten
Ziehe x0 aus echten Daten (Bild, Text-Embedding oder Latent).
Schrittweise Rauschen addieren
Jeder Zeitschritt fügt kontrolliertes gaußsches oder diskretes Rauschen hinzu.
Nahezu zufälligen Zustand erreichen
Nach vielen Schritten nähert sich xT einer einfachen Priorverteilung an.
Rückwärtsprozess (Generierung)
Die Generierung startet aus Rauschen und wendet gelernte Entrauschungsschritte an. Das Modell sagt einen saubereren Zustand (oder das Rauschresiduum) voraus und bewegt sich iterativ zu realistischen Samples.
Intuition der Rauschvorhersage
Rauschen zu schätzen ist oft leichter, als direkt das saubere Sample zu prognostizieren. Sobald das Rauschen geschätzt ist, kann es subtrahiert und Struktur progressiv wiederhergestellt werden.
Scheduler: Linear vs Cosine
Scheduler legen fest, wie viel Rauschen pro Schritt hinzugefügt oder entfernt wird. Sie beeinflussen Stabilität, Qualität und Geschwindigkeit stark.
Linearer Scheduler
Rauschen ändert sich pro Schritt mit konstanter Rate. Einfach, vorhersehbar und leicht zu implementieren.
Cosine-Scheduler
Verteilt den Entrauschungsaufwand nichtlinear, behält oft länger nützliches Signal und verbessert die wahrgenommene Qualität.
Score-Matching-Intuition
Eine Score-Funktion schätzt den Gradienten der Log-Dichte und zeigt in Richtung wahrscheinlicher Datenbereiche. Entrauschungsupdates folgen dieser Richtung und bewegen verrauschte Zustände zurück auf den Datenmanifold.
Rauschen-zu-Signal-Visualisierung
Passe Rauschen manüll an oder nutze Vorwärts-/Rückwärts-Autoplay, um zu sehen, wie Struktur verschwindet und wieder erscheint.
Vorwärts- & Rückwärts-Diffusionsprozess
Beobachte, wie ein sauberes Bild schrittweise verrauscht und wieder hergestellt wird — die Kernidee hinter Diffusionsmodellen.
Diffusionsmodelle lernen, den Rauschprozess umzukehren. Beim Training sieht das Modell Bilder auf jeder Rauschstufe und lernt, die saubere Version vorherzusagen. Bei der Generierung startet es mit reinem Rauschen und entrauscht schrittweise — erzeugt ein neues Bild aus dem Nichts.
Wichtige Erkenntnisse
- Diffusionstraining lernt die Umkehrung eines bekannten Korruptionsprozesses.
- Rückwärtssampling ist iterative Verfeinerung, keine Ein-Schritt-Generierung.
- Scheduler steürn, wo Modellkapazität über Zeitstufen investiert wird.
- Score-Schätzung liefert eine geometrische Sicht auf die Entrauschungsrichtung.