Agentenkontext verstehen
Der Agentenkontext umfasst den System-Prompt, die Gesprächshistorie, Tool-Definitionen und abgerufene Informationen. Eine effiziente Verwaltung dieses Kontexts ist entscheidend für die Agentenleistung.
Stell dir den Kontext als Arbeitsgedächtnis des Agenten vor – alles, was er braucht, um die Aufgabe zu verstehen und angemessen zu reagieren.
Kontext-Schichten erkunden
Klicke auf jede Schicht, um Beispielinhalte zu sehen
Kontext-Anatomie
Beispielbudget von 8.192 Tokens mit festgelegten Werten, keine Tokenizer-Messung. Die Anwendung wählt den gesendeten Inhalt. Je nach API und Optionen wird ein Überlauf abgelehnt oder gekürzt; ausgelassene Inhalte archiviert das Modell nicht automatisch.
7.750 / 8.192 tokens
Definiert die Rolle, Fähigkeiten und Verhaltensrichtlinien des Agenten.
Verwende nur die Mitteilung. Leite keine Wochenendöffnung ab. Antworte bei fehlenden Angaben mit „nicht angegeben“.
Was tatsächlich an das Modell gesendet wird
messages = [
// 1. System prompt (highest priority)
{ "role": "system", "content": "You are a helpful coding assistant..." },
// 2. Conversation history
{ "role": "user", "content": "Help me fix this bug" },
{ "role": "assistant", "content": "I'll read the file first" },
// 3. Tool calls and results
{ "role": "assistant", "tool_calls": [{"name": "read_file"}] },
{ "role": "tool", "content": "def buggy_function():..." },
// 4. Latest user message
{ "role": "user", "content": "Thanks, what was the issue?" },
]
tools = [
{ "name": "read_file", "description": "Read file contents", ... },
{ "name": "write_file", "description": "Write to a file", ... },
]Kontext-Komponenten
System-Prompt
Definiert die Rolle, Fähigkeiten und Verhaltensrichtlinien des Agenten.
Tool-Definitionen
Beschreibungen der verfügbaren Tools und ihrer Verwendung.
Gesprächshistorie
Vorherige Nachrichten, Tool-Aufrufe und deren Ergebnisse.
Abgerufene Informationen
Externes Wissen, das während des Gesprächs abgerufen wurde.
Strategien für das Kontextmanagement
Sliding Window
Behalte die letzten N Nachrichten. Einfach, kann aber wichtigen frühen Kontext verlieren.
Zusammenfassung
Komprimiere ältere Nachrichten regelmäßig zu Zusammenfassungen. Bewahrt Schlüsselinformationen und reduziert gleichzeitig Tokens.
context = [system, summary] + recent_messages
Prioritätsbasiertes Kürzen
Weise Nachrichten Prioritätswerte zu. System-Prompts und aktuelle Gesprächsrunden erhalten die höchste Priorität.
Häufige Stolperfallen
Kontext-Überlauf
Eine zu große Anfrage kann je nach API und Optionen abgelehnt oder gekürzt werden. Die Responses API lehnt Überläufe standardmäßig bei deaktivierter Kürzung ab. Die Anwendung muss ihr Budget verwalten.
Aufgeblähte Tool-Definitionen
Zu viele Tools oder zu ausführliche Beschreibungen fressen Kontextplatz. Halte Tool-Definitionen knapp und nimm nur Tools auf, die für die Aufgabe relevant sind.
Lost in the Middle
Manche Retrieval-Experimente finden bei langen Kontexten geringere Genauigkeit für mittig platzierte Belege. Das hängt von Modell und Aufgabe ab; teste Positionierung und Abruf an deinen Aufgaben.
Veraltete abgerufene Daten
RAG-Ergebnisse von früher im Gespräch können veralten, wenn sich die Diskussion weiterentwickelt. Aktualisiere abgerufene Daten, wenn sich das Thema verschiebt.
Wichtige Erkenntnisse
- 1Kontextmanagement ist der Schlüssel zur Agenten-Zuverlässigkeit
- 2Priorisiere aktuelle und relevante Informationen
- 3Tool-Definitionen sollten klar und eindeutig sein
- 4Zusammenfassung hilft, Kontext über lange Sitzungen zu erhalten