Large Language Modelle (LLM) wie ChatGPT haben sich weltweit verbreitet und stehen im Zentrum der öffentlichen Diskussion. Ein Kritikpunkt ist die mangelnde Erklärbarkeit und Überprüfbarkeit der Ergebnisse. Während Copilot durch die Nennung von Quellen Vorreiter in Sachen Nachvollziehbarkeit ist, bietet das Chain of Thought Prompting (CoT-Prompting) einen Ansatz, um in die „Gedanken“ von KIs wie ChatGPT zu blicken.
Was ist Chain of Thought Prompting?
CoT-Prompting zielt darauf ab, eine zusammenhängende und sinnvolle Abfolge von Gedanken oder Antworten zu erzeugen, basierend auf den Eingaben der Nutzer. Dabei werden Techniken wie rekurrente neuronale Netze (RNN) oder Transformer-Modelle verwendet, um die Verbindung zwischen den generierten Gedanken aufrechtzuerhalten und eine kontinuierliche Konversation zu ermöglichen. Durch Aufforderungen wie „Lass uns Schritt für Schritt vorgehen“ kann die KI angeregt werden, ihre Lösungsschritte offenzulegen, was die Erklärbarkeit der Ergebnisse erhöht.
Hintergrundwissen zu neuronalen Netzen
Rekurrente neuronale Netze (RNN) sind eine Klasse von neuronalen Netzen, die speziell für die Verarbeitung von Sequenzen entwickelt wurden. Sie können Informationen über lange Zeiträume hinweg speichern und sind daher besonders gut geeignet für Aufgaben, bei denen die Reihenfolge der Eingaben wichtig ist. Transformer-Modelle, wie sie in modernen LLMs verwendet werden, haben jedoch RNNs in vielen Anwendungen überholt, da sie besser darin sind, Zusammenhänge über große Textmengen hinweg zu erkennen und zu verarbeiten.
Ein praktisches Beispiel
Stellen wir uns vor, ein Benutzer möchte, dass die KI ein komplexes mathematisches Problem löst:
Benutzer: „Wie viele Kombinationen gibt es, um aus 10 verschiedenen Büchern 3 auszuwählen?“
KI: „Lass uns Schritt für Schritt vorgehen:
- Die Formel für Kombinationen lautet: C(n, k) = n! / (k!(n-k)!)
- In unserem Fall ist n = 10 und k = 3.
- Zuerst berechnen wir 10! = 10 × 9 × 8 × 7 × 6 × 5 × 4 × 3 × 2 × 1 = 3.628.800
- Dann berechnen wir 3! = 3 × 2 × 1 = 6
- Und 7! = 7 × 6 × 5 × 4 × 3 × 2 × 1 = 5.040
- Nun setzen wir alles in die Formel ein: C(10, 3) = 3.628.800 / (6 × 5.040) = 120
Es gibt also 120 Möglichkeiten, 3 Bücher aus 10 auszuwählen.“
Durch diesen schrittweisen Ansatz wird deutlich, wie die KI zu ihrer Antwort kommt, was die Nachvollziehbarkeit und das Vertrauen in die Ergebnisse erhöht.
Sinnvolle Anwendung von Chain of Thought Prompting
CoT-Prompting ist besonders bei komplexen Aufgaben sinnvoll, wie mathematischen Problemen oder logischen Schlussfolgerungen, die auf Common Sense Wissen basieren. Während einfache Zero-Shot Prompts oft ausreichen, kann CoT-Prompting bei komplexen Fragen erhebliche Vorteile bieten. Es ermöglicht ein besseres Verständnis der Outputs, ohne jedoch Einblick in die innere Funktionsweise des Modells zu gewähren. Fehler im Output sind weiterhin schwer nachzuvollziehen und müssen überprüft werden.
Anwendungsbeispiele
- Mathematische Probleme: Wie im obigen Beispiel gezeigt, kann CoT-Prompting helfen, komplexe Berechnungen Schritt für Schritt darzulegen.
- Logische Schlussfolgerungen: Wenn die KI gebeten wird, eine logische Schlussfolgerung zu ziehen, kann sie durch CoT-Prompting ihre Gedankengänge explizit machen, was besonders nützlich in Bereichen wie juristischen Analysen oder wissenschaftlichen Argumentationen ist.
- Programmieraufgaben: Bei der Entwicklung von Algorithmen oder dem Debugging von Code kann die KI ihre Schritte und Überlegungen aufschlüsseln, was den Entwicklungsprozess erleichtert.
Fazit
Ob Chain of Thought Prompting sinnvoll ist, hängt von der Anwendung ab. Es kann das Skillset fürs Prompting erweitern und bestimmte Aufgaben erleichtern. Besonders bei komplexen und mehrstufigen Aufgaben bietet es den Vorteil, dass die Gedankengänge der KI nachvollziehbarer und überprüfbarer werden. Dennoch bleibt die Herausforderung bestehen, dass Fehler im Output schwer nachzuvollziehen sind und eine Überprüfung durch den Nutzer notwendig bleibt. CoT-Prompting stellt jedoch einen vielversprechenden Schritt in Richtung einer transparenteren und verständlicheren Interaktion mit KI-Systemen dar.
