Über die Grundlagen hinaus
Beginne mit einer direkten Aufgabe, den nötigen Quellen und einem prüfbaren Erfolgskriterium. Reasoning-Modelle rechnen bereits intern an einer Aufgabe; klassische Instruct-Modelle können von vorgerechneten Beispielen profitieren. Vergleiche Verfahren mit denselben Eingaben, derselben Modellversion und denselben Prüfkriterien.
Chain of Thought
Chain-of-Thought-Prompting ist ein historisch untersuchtes Verfahren, um Zwischenschritte hervorzurufen, insbesondere bei klassischen Instruct-Modellen. Folge bei Reasoning-Modellen der Anbieterdokumentation: beginne mit direkten Anweisungen, statt ein verborgenes Denkprotokoll anzufordern.
Beispiel: „Löse die Aufgabe. Nenne Ergebnis, relevante Annahmen und eine kurze Prüfung, die ich nachvollziehen kann.“
Wichtig: CoT ist nicht universell
Eine nützliche Antworterklärung ist keine verlässliche Wiedergabe interner Berechnung. Eine ausdrückliche Gedankenkette verbessert nicht automatisch jedes Modell und jede Aufgabe.
- -Reasoning-Modelle brauchen meist kein „Denke Schritt für Schritt“; prüfe die jeweilige Modelldokumentation.
- -Eine überzeugende Erklärung kann falsch sein oder den tatsächlichen Einfluss auf eine Entscheidung auslassen.
- -Miss Genauigkeit, Latenz und Tokenverbrauch gegenüber einem direkten Ausgangsprompt.
Few-Shot-Lernen
Gib mehrere Beispiele an, um Muster zu etablieren, denen das Modell folgen soll.
Beginne ohne Beispiele. Werden Format oder Grenzen wiederholt missverstanden, ergänze wenige typische Fälle und teste an anderen Eingaben erneut.
Selbstkonsistenz
Erzeuge mehrere Antwortkandidaten und fasse vergleichbare Endergebnisse zusammen. Gemeinsame Fehler können eine Mehrheit gewinnen; Abstimmung ersetzt keine externe Prüfung.
Vergleiche bei Rechenaufgaben Kandidaten mit einem exakten Rechner, statt die Mehrheit als Beweis zu behandeln.
Aufgabenzerlegung
Zerlege komplexe Aufgaben in kleinere, handhabbare Teilaufgaben.
Löse Teilaufgaben unabhängig, dann kombiniere die Ergebnisse.
Tree of Thoughts (ToT)
Tree of Thoughts (2023) ist ein Suchverfahren: Zwischenzustände erzeugen, bewerten und Zweige weiterverfolgen oder verwerfen. Berichtete Ergebnisse gelten für die Aufgaben und Modelle des Papers.
Wie es funktioniert
Generiere mehrere Denkzweige bei jedem Schritt. Bewerte vielversprechende Pfade, beschneide Sackgassen und verfolge Alternativen zurück.
Am besten geeignet für
Planungsprobleme, Rätsel, kreative Aufgaben, die Exploration erfordern, und Probleme, bei denen der erste Ansatz möglicherweise nicht optimal ist.
Ablaufskizze: Kandidaten erzeugen → Bedingungen prüfen → auswählen oder zurückgehen → bis zum Stoppkriterium fortsetzen. Ein einzelner Prompt „Betrachte drei Ansätze“ implementiert diese Suche nicht.
Graph of Thoughts (GoT)
Graph of Thoughts (2023) ist ein Orchestrierungsverfahren, das Zwischenergebnisse in einem Graphen kombinieren und erneut bearbeiten kann. Es belegt nicht, dass ein Sprachmodell wie ein menschliches Gehirn denkt.
Hauptmerkmal
Im Gegensatz zu linearem CoT oder baumstrukturiertem ToT ermöglicht GoT das Kombinieren von Erkenntnissen aus verschiedenen Denkpfaden und das Überdenken früherer Schlussfolgerungen.
Am besten geeignet für
Komplexe Probleme mit Abhängigkeiten, Syntheseaufgaben und Probleme, bei denen Teillösungen kombiniert werden müssen.
Ablaufskizze: unabhängige Zweige ausführen → Ergebnisse speichern → ausgewählte Ergebnisse zusammenführen → bewerten → verfeinern. Graph und Ausführungsregeln gehören zur Anwendung.
Kosten-Nutzen-Analyse
Fortgeschrittene Prompting-Techniken erhöhen den Token-Verbrauch, die Latenz und die API-Kosten. Zu verstehen, wann diese Kompromisse sich lohnen, ist entscheidend für Produktionssysteme.
Die zusätzlichen Kosten wert
- +Komplexes Denken: Mathematik, Logik, mehrstufige Analyse
- +Aufgaben mit verlässlichem externem Prüfer und gemessenem Nutzen zusätzlicher Berechnung
- +Probleme, bei denen Genauigkeit wichtiger ist als Geschwindigkeit
Oft nicht lohnenswert
- -Einfache Klassifizierungs- oder Extraktionsaufgaben
- -Hochvolumige, latenzempfindliche Anwendungen
- -Aufgaben, bei denen einfachere Prompts bereits hohe Genauigkeit erreichen
Tipp: Beginne mit einfachen Prompts und füge Komplexität nur bei Bedarf hinzu. Miss die Genauigkeitsverbesserung gegen den Kostenanstieg, um fundierte Entscheidungen zu treffen.
Zusätzliche Techniken
Rollenzuweisung
Benenne bei Bedarf Verantwortung und Zielgruppe. Die Bezeichnung „Experte“ belegt keine Fachkompetenz.
Explizite Einschränkungen
Liste auf, was das Modell NICHT tun soll, um häufige Fehler zu vermeiden.
Selbstverifikation
Bitte um eine kurze Prüfung und verifiziere mit Quellen, ausführbaren Tests oder einer unabhängigen Referenz. Selbstprüfung allein ist kein Beweis.
Einen Antwortkandidaten prüfen
Prüfe zwei Bedingungen lokal; ohne erfundenen Modellvergleich.
Eine Antwort mit Gleichungen prüfen
Ein lokaler Rechenprüfer, kein Modellvergleich. Eine Erklärung kann überzeugend klingen und trotzdem eine Bedingung verletzen. Reasoning-Modelle brauchen in der Regel keine Aufforderung „Denke Schritt für Schritt“.
Ein Schläger und ein Ball kosten zusammen 110 Cent. Der Schläger kostet 100 Cent mehr als der Ball. Was kostet der Ball?
- Aus der Differenz abgeleiteter Schlägerpreis
- 10 + 100 = 110
- Gesamtpreis
- 10 + 110 = 120 ≠ 110
Die Summe stimmt nicht. Ändere den Kandidaten.
Wichtige Erkenntnisse
- 1Trenne Prompting klassischer Instruct-Modelle von Empfehlungen für Reasoning-Modelle.
- 2Beispiele müssen ein beobachtetes Problem lösen und sich an weiteren Testfällen bewähren.
- 3ToT und GoT umfassen externe Suche oder Orchestrierung und nicht bloß einen längeren Prompt.
- 4Berücksichtige immer Kosten vs. Nutzen—fortgeschrittene Techniken erhöhen den Token-Verbrauch
- 5Beginne einfach, füge Komplexität nur hinzu, wenn die Genauigkeit es erfordert