Was ist Agentische Vision?
Agentische Vision verwandelt Bildverständnis von einem statischen, einmaligen Prozess in eine aktive Untersuchung. Anstatt einfach zu beschreiben, was es sieht, formuliert das Modell Pläne zum Heranzoomen, Inspizieren, Manipulieren und schrittweisen Analysieren von Bildern—und begründet Antworten mit visuellen Beweisen, die durch Code-Ausführung gesammelt werden.
Ein überprüfbarer Bild-Workflow
Vorgegebener Ablauf mit einem generierten Referenzbild. Der Crop ist echt; Planung und Referenzantwort sind redaktionell vorgegeben. Es laufen weder ein Vision-Modell noch OCR.
Welche Seriennummer steht auf dem Gehäuse? Die Aufgabe verlangt exakte Zeichen.
Ein echter Agent müsste die Region aus dem Bild bestimmen, ein Crop-Werkzeug aufrufen, dessen Ausgabe lesen und bei Unsicherheit erneut prüfen. Mehr Schritte können helfen, kosten aber Zeit und garantieren kein korrektes Ergebnis.
Die Denken-Handeln-Beobachten-Schleife
Ein Modell wählt eine Werkzeugaktion, prüft das Ergebnis und entscheidet über weitere Schritte.
Denken
Das Modell analysiert die Anfrage des Nutzers und das ursprüngliche Bild und formuliert dann einen mehrstufigen Plan, wie die benötigten Informationen extrahiert werden können.
Handeln
Das Modell generiert und führt Python-Code aus, um das Bild zu manipulieren oder zu analysieren—Interessenbereiche zuschneiden, Berechnungen durchführen, Objekte zählen oder Anmerkungen zeichnen.
Beobachten
Das transformierte Bild wird dem Kontextfenster des Modells hinzugefügt, sodass es die Ergebnisse inspizieren kann, bevor es über die nächste Aktion entscheidet oder eine endgültige Antwort liefert.
Kernfähigkeiten
Werkzeuge können zusätzliche Belege zugänglich machen. Verfügbarkeit und Zuverlässigkeit hängen von System und Aufgabe ab.
Zoomen & Inspizieren
Das Modell erkennt, wenn Details zu klein zum Lesen sind (wie eine entfernte Anzeige oder Seriennummer) und schreibt Code, um den Bereich zuzuschneiden und in höherer Auflösung erneut zu untersuchen.
Visuelle Mathematik
Führe mehrstufige Berechnungen mit Code durch—Summen von Positionen auf einer Quittung, Winkelmessung in einem Diagramm oder Diagramme aus extrahierten Daten generieren.
Bildannotation
Zeichne Pfeile, Begrenzungsrahmen oder andere Anmerkungen direkt auf Bilder, um räumliche Fragen wie "Wohin soll dieses Element?" zu beantworten.
Iterative Verfeinerung
Wenn der erste Ansatz keine klaren Ergebnisse liefert, kann das Modell alternative Strategien ausprobieren—verschiedene Zuschnittbereiche, Bildverbesserung oder mehrere Zählmethoden.
Funktionsweise
Wenn du einem agentischen Bildmodell eine Frage zu einem Bild stellst, schaut es nicht einfach und antwortet. Es überlegt, welche Operationen helfen würden, die Frage zu beantworten, führt Code aus, um diese Operationen durchzuführen, und nutzt die Ergebnisse für seine Antwort.
Anfrage erhalten
Nutzer stellt eine Frage zu einem Bild, die detaillierte Analyse erfordert.
Operationen planen
Modell bestimmt, welche visuellen Operationen (Zuschneiden, Zoomen, Annotieren) helfen würden, die Frage zu beantworten.
Code ausführen
Python-Code wird generiert und ausgeführt, um das Bild wie geplant zu manipulieren.
Ergebnisse analysieren
Das modifizierte Bild wird dem Modell zur Inspektion zurückgegeben.
Iterieren oder Antworten
Modell führt entweder weitere Operationen durch oder liefert die endgültige Antwort mit Belegen.
Beispiel: Lesen einer entfernten Seriennummer
Stell dir vor, du fragst "Was ist die Seriennummer auf dem Gerät in der Ecke des Fotos?"
Veröffentlichte Beispiele
Die Beispiele zeigen unterschiedliche Systeme mit Werkzeugen, keine identischen Fähigkeiten.
Google Gemini 3 Flash (Ankündigung 2026)
Google stellte die benannte Funktion Agentic Vision mit Gemini 3 Flash vor und meldete mit Codeausführung 5 bis 10% Gewinn auf den meisten getesteten Vision-Benchmarks. Das ist eine Herstellerangabe für diesen Aufbau, kein allgemeiner Gewinn.
NVIDIA Cosmos Reason
Ein 7B-Parameter-Reasoning-VLM für physische KI-Anwendungen. Kann reale Umgebungen unter Verwendung von Vorwissen und Physikverständnis verstehen und darin agieren.
OpenAI Computer-Using Agent
Nutzt Screenshots und UI-Aktionen zur Computerbedienung. Koordinatenvorhersagen und Aufgabenerfolg müssen weiterhin geprüft werden.
Google: Introducing Agentic Vision in Gemini 3 Flash (Herstellerquelle zum genannten Benchmarkbefund)
Praxisanwendungen
Agentische Vision wird bereits in Produktionssystemen eingesetzt.
Dokumentenverarbeitung
Automatisches Heranzoomen an Tabellen, Diagramme und Kleingedrucktes, um genau Daten aus komplexen Dokumenten zu extrahieren.
Qualitätsprüfung
Erkennung von Defekten durch systematische Inspektion verschiedener Bereiche von Produktbildern in hoher Auflösung.
Räumliches Reasoning
Beantworte "Wohin soll das?"-Fragen durch Annotieren von Bildern mit Pfeilen und Platzierungshinweisen.
Quittungsanalyse
Extrahiere Positionen, berechne Summen und verifiziere Mathematik durch Kombination von OCR mit codebasierter Berechnung.
Passive vs Agentische Vision
Verständnis des grundlegenden Unterschieds im Ansatz.
Passive Vision
Eine Bildanfrage ohne nachfolgende Werkzeuge. Das Modell kann intern trotzdem umfangreich nachdenken.
Agentische Vision
Iterative Untersuchungsschleife. Kann zoomen, zuschneiden, verbessern und erneut untersuchen. Begründet Antworten mit ausgeführtem Code und visuellen Belegen.
Kernerkenntnisse
- 1Agentische Vision behandelt Bildverständnis als aktive Untersuchung, nicht als passive Wahrnehmung
- 2Die Denken-Handeln-Beobachten-Schleife ermöglicht Modellen, Bilder iterativ zu zoomen, zuzuschneiden und zu analysieren
- 3Ausgeführte Werkzeuge liefern prüfbare Ausgaben; die Interpretation kann trotzdem falsch sein.
- 4Miss Qualitätsgewinne gegen einen Vergleich mit demselben Modell, denselben Bildern und Fragen.
- 5Berücksichtige zusätzliche Latenz und Werkzeugfehler bei der Wahl des Ablaufs.