Eingabe und Ausgabe getrennt prüfen
Ein Modell, das Bilder versteht, muss keine Bilder erzeugen können. Unterstützte Kombinationen hängen vom Modell und Endpunkt ab. Der Wähler unten beschreibt mögliche Aufgaben.
| Eingabe | Verarbeitung | Ausgabe |
|---|---|---|
| Bild + Frage | Bildanalyse | Textantwort |
| Audio | Spracherkennung | Transkript |
| Text | Bildgenerierung | Bild |
| Video + Frage | Zeitliche Analyse | Textantwort |
Was ist Multimodalität?
Multimodalität bezeichnet die Fähigkeit von KI-Modellen, mehrere Eingabetypen gleichzeitig zu verarbeiten und zu verstehen – Text, Bilder, Audio, Video und mehr. So wie Menschen natürlich Informationen aus verschiedenen Sinnen integrieren, um die Welt zu verstehen, kombinieren multimodale KI-Systeme verschiedene Datentypen, um ein reichhaltigeres, vollständigeres Verständnis aufzubauen.
Typen von Modalitäten
Moderne KI-Systeme können eine Vielzahl von Ein- und Ausgabemodalitäten verarbeiten, jede mit einzigartigen Eigenschaften und Herausforderungen.
Bilder
Statische visuelle Informationen, die durch Vision Transformer verarbeitet werden. Bilder werden in Patches unterteilt, eingebettet und zusammen mit Text-Tokens für Aufgaben wie Bildbeschreibung, visuelle Q&A und Dokumentenanalyse verarbeitet.
Audio
Klanginformationen einschließlich Sprache, Musik und Umgebungsgeräusche. Audio wird typischerweise in Spektrogramme oder Wellenformdarstellungen umgewandelt, bevor es von neuronalen Netzen für Transkription, Generierung oder Verständnis verarbeitet wird.
Video
Zeitliche Sequenzen von Bildern mit optionalen Audiospuren. Videoverständnis erfordert Reasoning über Veränderungen im Zeitverlauf, Objektverfolgung und oft Synchronisation von visuellen und akustischen Informationen.
Andere Modalitäten
Aufkommende Modalitäten umfassen 3D-Punktwolken, Sensordaten, Code, strukturierte Daten und sogar physische Aktionen in Robotikanwendungen.
Anwendungsübersicht
Wähle Eingabemodalitäten für mögliche Aufgaben. Der Wähler verarbeitet keine Medien.
Wähle Modalitäten zum Kombinieren
Visuelle Muster und Objekte
Sprache und Semantik
Möglicher Ablauf
Mehrere Modalitäten ermöglichen ein reichhaltigeres, querverweisbasiertes Verständnis, das Beziehungen zwischen verschiedenen Informationstypen erfasst.
Anwendungsfälle
Visuelle Q&A & Dokumentenanalyse
Stelle Fragen zu Bildern, extrahiere Text aus Dokumenten oder generiere detaillierte Bildbeschreibungen.
“Was ist der Gesamtbetrag auf dieser Quittung?”
Wie multimodale Modelle funktionieren
Architekturen unterscheiden sich. Manche gleichen separat kodierte Repräsentationen ab, andere verschränken Modalitätstoken oder nutzen Cross-Attention. Einem Modell sollte nur eine veröffentlichte Architektur zugeschrieben werden.
Jede Modalität kodieren
Eine mögliche Architektur nutzt einen Bildencoder und ein Textmodell. Andere Architekturen repräsentieren Modalitäten anders.
Im gemeinsamen Raum ausrichten
Eine Projektion kann Repräsentationen verbinden. Ein gemeinsamer Ähnlichkeitsraum ist eine Möglichkeit, keine Voraussetzung für jedes multimodale Modell.
Cross-Modales Reasoning
Das Modell verwendet Aufmerksamkeitsmechanismen, um Informationen über Modalitäten hinweg zu verknüpfen, was Aufgaben wie "Beschreibe, was du siehst" oder "Antworte basierend auf dem Video" ermöglicht.
Audioverarbeitung
Audio-Modalitäten ermöglichen KI-Systemen, Sprache, Musik und andere Klänge zu verstehen und zu generieren.
Spracherkennung
Umwandlung gesprochener Sprache in Text. Moderne Modelle wie Whisper können in über 100 Sprachen mit hoher Genauigkeit transkribieren, auch bei Akzenten und Hintergrundgeräuschen.
Text-to-Speech
Generierung natürlich klingender Sprache aus Text. Fortgeschrittene Modelle können Stimmen klonen, Emotionen ausdrücken und konsistente Sprechstile beibehalten.
Musikverständnis
Analyse musikalischer Inhalte einschließlich Genre, Tempo, Instrumente und Stimmung. Einige Modelle können auch Musik aus Textbeschreibungen generieren.
Audiogenerierung
Erstellung von Soundeffekten, Umgebungsaudio und Musik. Modelle können alles von realistischen Soundeffekten bis hin zu vollständigen Musikkompositionen generieren.
Videoverständnis
Video stellt einzigartige Herausforderungen dar, da es räumliche Informationen aus Bildern mit zeitlichen Informationen über Veränderungen kombiniert.
Zeitliches Reasoning
Verständnis von Ursache und Wirkung, Handlungssequenzen und Veränderungen über die Zeit. Modelle müssen Objekte verfolgen und verstehen, wie Frames zueinander in Beziehung stehen.
Frame-Sampling
Videos enthalten viel zu viele Frames, um sie vollständig zu verarbeiten. Modelle verwenden intelligente Sampling-Strategien, um Schlüsselframes auszuwählen, die wichtige Momente erfassen.
Audio-Video-Synchronisation
Ausrichtung von Audio- und visuellen Informationen, um Ereignisse wie sprechende Personen, spielende Musik oder klingende Objekte zu verstehen.
Cross-Modale Fusionsstrategien
Verschiedene Architekturen zur Kombination von Informationen aus mehreren Modalitäten, jeweils mit Kompromissen zwischen Effizienz und Fähigkeit.
Frühe Fusion
Modalitäten auf Eingabeebene vor jeder Verarbeitung kombinieren. Einfach, aber kann modalitätsspezifische Muster verlieren.
Späte Fusion
Jede Modalität separat mit spezialisierten Encodern verarbeiten, dann am Ende kombinieren. Bewahrt modalitätsspezifische Merkmale.
Cross-Attention
Queries einer Repräsentation greifen auf Keys und Values einer anderen zu. Flamingo ist ein veröffentlichtes Beispiel, das Bildfeatures über gesteuerte Cross-Attention mit Sprache verbindet.
Reale Anwendungen
Multimodale KI ermöglicht Anwendungen, die mit Einzelmodalitätssystemen zuvor unmöglich waren.
Videobeschriftung
Detaillierte Beschreibungen von Videoinhalten für Barrierefreiheit, Suche und Inhaltsmoderation generieren.
Sprachassistenten
Natürliche Gespräche, die Sprache verstehen, stimmlich antworten und auf Bilder oder Bildschirme Bezug nehmen können.
Medizinische Bildgebung
Analyse von Röntgenaufnahmen, MRTs und anderen Scans zusammen mit Patientenakten und Arztnotizen.
Robotik
Verarbeitung von Kamerabildern, Sensordaten und Befehlen zur Navigation und Manipulation der physischen Welt.
Content-Erstellung
Bilder aus Text generieren, Audio zu Videos hinzufügen oder multimediale Inhalte aus Beschreibungen erstellen.
Barrierefreiheit
Bilder für Sehbehinderte beschreiben, Audio für Gehörlose transkribieren und zwischen Modalitäten übersetzen.
Kernerkenntnisse
- 1Multimodale KI kombiniert Text, Bilder, Audio und Video, um ein reichhaltigeres Verständnis der Welt aufzubauen
- 2Eingabe- und Ausgabeunterstützung sind je Modell und Endpunkt getrennt zu prüfen.
- 3Cross-Attention ist eine Architekturvariante und kein Beleg für den Aufbau eines bestimmten geschlossenen Modells.
- 4Videoverständnis fügt die Zeitdimension hinzu und erfordert zeitliches Reasoning und Frame-Sampling
- 5Reale Anwendungen reichen von Barrierefreiheitstools bis hin zu Robotik und Content-Erstellung