Was sind Einbettungen?
Einbettungen sind dichte Vektordarstellungen, die semantische Bedeutung erfassen. Ähnliche Konzepte haben ähnliche Einbettungen, was Maschinen ermöglicht, Beziehungen zwischen Wörtern, Sätzen und Dokumenten zu verstehen.
Wie Einbettungen funktionieren
Einbettungsmodelle bilden diskrete Tokens auf kontinuierliche Vektoren in einem hochdimensionalen Raum ab (oft 768-4096 Dimensionen). Die Position jedes Vektors kodiert seine semantische Bedeutung.
Semantische Ähnlichkeit
Ähnliche Bedeutungen gruppieren sich im Einbettungsraum. "König" und "Königin" sind näher beieinander als "König" und "Banane".
Vektordimensionen
Jede Dimension erfasst einen Aspekt der Bedeutung – obwohl diese Dimensionen nicht für Menschen interpretierbar sind.
Vektoroperationen
Klassische Word2Vec-Intuition: König - Mann + Frau ≈ Königin. Als Denkmodell nützlich, aber moderne kontextuelle LLM-Repräsentationen sind dynamischer und weniger sauber.
Wie Einbettungen erstellt werden
Einbettungen stammen aus der Einbettungsschicht – einer gelernten Nachschlagetabelle ganz am Anfang eines neuronalen Netzwerks.
Die Einbettungsschicht
Wenn ein Token in das Modell eintritt, wird seine ID verwendet, um eine Zeile in einer großen Matrix nachzuschlagen. Diese Zeile IST die Einbettung – ein dichter Vektor aus gelernten Gewichten.
Lernen durch Training
Während des Trainings werden die Einbettungsgewichte durch Backpropagation angepasst. Wörter, die in ähnlichen Kontexten erscheinen, entwickeln ähnliche Einbettungen.
In LLMs
Die Einbettungsschicht wandelt jede Token-ID in einen Vektor um. Positionsinformation kommt separat dazu, und Transformer-Schichten machen daraus kontextuelle Repräsentationen.
Dedizierte Modelle
Modelle wie text-embedding-3-small oder all-MiniLM werden speziell trainiert, um Einbettungen für Ähnlichkeitssuche zu erzeugen, mit kontrastiven Lernzielen.
Einbettungsdimensionen
Einbettungsgrößen variieren: GPT-2 nutzt 768d, manche großen Modelle nutzen deutlich breitere Hidden-Vektoren, dedizierte Einbettungsmodelle oft 384-1536d. Größer ist nicht immer besser – es hängt von der Aufgabe ab.
Häufige Anwendungsfälle
Semantische Suche
Dokumente nach Bedeutung finden, nicht nur durch Schlüsselwort-Matching.
Clustering
Ähnliche Dokumente gruppieren, Themen automatisch erkennen.
Klassifizierung
Text basierend auf Einbettungsähnlichkeit zu Beispielen kategorisieren.
RAG-Systeme
Relevanten Kontext für LLM-Prompts abrufen.
Interaktive Visualisierung
Erkunde, wie Einbettungen nach Bedeutung clustern
Eine Geometrieübung mit von Hand gewählten 3D-Vektoren, keine Embeddings eines trainierten Modells und keine Projektion hochdimensionaler Daten. Die Gruppen sind bewusst angeordnet. Die Kosinuswerte unten werden aus genau diesen Koordinaten berechnet.
Wörter zur Visualisierung auswählen
Klicke auf Wörter zum Hinzufügen/Entfernen
Vektorraum (3D)
Ziehen zum Drehen, scrollen zum Zoomen. Über die Auswahl unten lässt sich ein Wort auch ohne 3D-Bedienung vergleichen.
Wichtige Erkenntnisse
- 1Einbettungen wandeln Text in Vektoren um, die semantische Bedeutung erfassen
- 2Ähnliche Konzepte haben ähnliche Einbettungen (Kosinus-Ähnlichkeit)
- 3Einbettungen ermöglichen semantische Suche, Clustering und RAG
- 4Verschiedene Einbettungsmodelle haben verschiedene Stärken und Dimensionen