Was sind Einbettungen?
Einbettungen sind dichte Vektordarstellungen, die semantische Bedeutung erfassen. Ähnliche Konzepte haben ähnliche Einbettungen, was Maschinen ermöglicht, Beziehungen zwischen Wörtern, Sätzen und Dokumenten zu verstehen.
Wie Einbettungen funktionieren
Einbettungsmodelle bilden diskrete Tokens auf kontinuierliche Vektoren in einem hochdimensionalen Raum ab (oft 768-4096 Dimensionen). Die Position jedes Vektors kodiert seine semantische Bedeutung.
Semantische Ähnlichkeit
Ähnliche Bedeutungen gruppieren sich im Einbettungsraum. "König" und "Königin" sind näher beieinander als "König" und "Banane".
Vektordimensionen
Jede Dimension erfasst einen Aspekt der Bedeutung – obwohl diese Dimensionen nicht für Menschen interpretierbar sind.
Vektoroperationen
Berühmtes Beispiel: König - Mann + Frau ≈ Königin. Beziehungen werden als Richtungen im Raum kodiert.
Wie Einbettungen erstellt werden
Einbettungen stammen aus der Einbettungsschicht – einer gelernten Nachschlagetabelle ganz am Anfang eines neuronalen Netzwerks.
Die Einbettungsschicht
Wenn ein Token in das Modell eintritt, wird seine ID verwendet, um eine Zeile in einer großen Matrix nachzuschlagen. Diese Zeile IST die Einbettung – ein dichter Vektor aus gelernten Gewichten.
Lernen durch Training
Während des Trainings werden die Einbettungsgewichte durch Backpropagation angepasst. Wörter, die in ähnlichen Kontexten erscheinen, entwickeln ähnliche Einbettungen.
In LLMs
Die Einbettungsschicht wandelt jede Token-ID in einen Vektor um. Diese Vektoren werden dann durch Transformer-Schichten verarbeitet und mit Positionskodierungen kombiniert, um die Wortstellung zu verstehen.
Dedizierte Modelle
Modelle wie text-embedding-3-small oder all-MiniLM werden speziell trainiert, um Einbettungen für Ähnlichkeitssuche zu erzeugen, mit kontrastiven Lernzielen.
Einbettungsdimensionen
Einbettungsgrößen variieren: GPT-2 nutzt 768d, GPT-4 nutzt 12.288d, dedizierte Einbettungsmodelle oft 384-1536d. Größer ist nicht immer besser – es hängt von der Aufgabe ab.
Häufige Anwendungsfälle
Semantische Suche
Dokumente nach Bedeutung finden, nicht nur durch Schlüsselwort-Matching.
Clustering
Ähnliche Dokumente gruppieren, Themen automatisch erkennen.
Klassifizierung
Text basierend auf Einbettungsähnlichkeit zu Beispielen kategorisieren.
RAG-Systeme
Relevanten Kontext für LLM-Prompts abrufen.
Interaktive Visualisierung
Erkunde, wie Einbettungen nach Bedeutung clustern
Wörter zur Visualisierung auswählen
Klicke auf Wörter zum Hinzufügen/Entfernen
Vektorraum (3D)
3D interactive embedding space — drag to rotate, scroll to zoom
Wichtige Erkenntnisse
- 1Einbettungen wandeln Text in Vektoren um, die semantische Bedeutung erfassen
- 2Ähnliche Konzepte haben ähnliche Einbettungen (Kosinus-Ähnlichkeit)
- 3Einbettungen ermöglichen semantische Suche, Clustering und RAG
- 4Verschiedene Einbettungsmodelle haben verschiedene Stärken und Dimensionen