In der praktischen Softwareentwicklung wird schnell deutlich, wie nützlich große Sprachmodelle (LLMs) sein können: Sie unterstützen beim Entwickeln von Web-Apps, beim Verstehen komplexer Quelltexte und sogar bei der Fehlersuche in alten Systemen. Sie erklären komplexe Codeabschnitte, skizzieren Architekturüberlegungen und rekonstruieren Zusammenhänge innerhalb von Sekunden. Damit übernehmen sie eine Rolle, die man am ehesten mit einem erfahrenen „Pair Programmer“ vergleichen kann: ein Assistent, Mentor und Debugging-Partner zugleich.
Mit zunehmender Nutzung fällt jedoch ein wiederkehrendes Muster auf. Je länger ein Chatverlauf wird oder je öfter Aufgaben über mehrere Iterationen weiterentwickelt werden, desto stärker entfernen sich manche Antworten von zuvor gemeinsam erarbeiteten Aussagen. Die Ursachen wirken zunächst zufällig – doch die Beobachtungen deuten auf systematische Effekte hin, die unabhängig von der konkreten Aufgabe auftreten.
Wiederkehrende Phänomene in der Zusammenarbeit mit LLMs
Diese Auffälligkeiten lassen sich im Wesentlichen in vier Kategorien einordnen. Sie treten subtil auf, entwickeln aber spürbare Auswirkungen auf die Qualität und Stabilität der Zusammenarbeit.
Drift
Der Begriff „Drift“ ist aus dem Machine Learning bekannt, wo er etwa in Form von Concept Drift Veränderungen in Daten oder Beziehungen über die Zeit beschreibt. Für dialogbasierte Systeme lässt er sich analog verwenden: Nicht das Modell driftet, sondern der Dialog.
Diese dialogbezogene Drift zeigt sich unter anderem in Form von:
- Begriffsdrift: Ein zuvor klar definierter Begriff wird später mit veränderter Bedeutung verwendet.
- Strukturdrift: Eine vereinbarte Formatierung oder Struktur wird im Verlauf schrittweise abgeändert.
- Kontextdrift: Der Fokus verschiebt sich unmerklich weg vom ursprünglichen Ziel.
- Rollendrift: Das Modell fällt aus einer zuvor gesetzten Rolle in den allgemeinen Assistentenmodus zurück.
Wie diese Form des Drifts in der praktischen Arbeit mit LLMs in der wissenschaftlichen Literatur beschrieben wird, gilt es noch zu untersuchen.
Fehlende Persistenz
Ein weiterer zentraler Effekt in der Zusammenarbeit mit LLMs ist die fehlende Persistenz. Damit ist gemeint, dass Modelle keine stabile Erinnerung besitzen – weder über Chatgrenzen hinweg noch innerhalb eines einzelnen längeren Dialogs. Informationen bleiben nur so lange wirksam, wie sie im aktiven Kontextfenster präsent und für das Modell rechnerisch relevant sind. Je weiter frühere Aussagen zurückliegen, desto stärker verblassen sie im internen Aufmerksamkeitsfokus des Modells. Dadurch kann es vorkommen, dass sorgfältig eingeführte Begriffe, Regeln oder Strukturvorgaben während desselben Chats unzuverlässig fortgeführt werden. Der Persistenzverlust zeigt sich also nicht nur beim Wechsel in ein neues Chatfenster, sondern auch innerhalb eines fortlaufenden Gesprächs, wenn frühere Inhalte an Einfluss verlieren oder von jüngeren Passagen überlagert werden.
Vermischung der Ebenen
Ein weiteres Muster besteht darin, dass LLMs zwischen Abstraktionsebenen springen, oft aus übertriebener Hilfsbereitschaft:
- Aus einer Analyse wird ungefragt eine Empfehlung.
- Aus einer Struktur wird sofort ein Fließtext.
- Aus der Fehlersuche wird plötzlich eine alternative Implementierung.
Diese Vermischung erschwert strukturiertes Arbeiten und kann dazu führen, dass falsche Fährten verfolgt werden.
Stabilitätsverlust in langen Chats
Mit zunehmender Chatlänge nehmen Instabilitäten sichtbar zu. Widersprüche zu früheren Aussagen, vergessene Details und Umdeutungen bereits definierter Elemente sind typische Symptome.
Eine zentrale technische Ursache dafür ist der Rezenzeffekt (Recency Bias): Informationen am Anfang des Dialogs verlieren an Einfluss, während jüngere Textpassagen dominieren. Dadurch verblasst die ursprüngliche Instruktion im Verlauf des Chats.
Warum diese Phänomene dokumentiert werden sollten
Die beschriebenen Muster treten in unterschiedlichsten Anwendungsszenarien auf und wirken sich deutlich auf die Qualität und Verlässlichkeit der Zusammenarbeit mit LLMs aus. Sie sind weder zufällige Einzelfälle noch das Ergebnis unklarer Prompts, sondern zeigen sich wiederkehrend und unabhängig von der konkreten Aufgabe. Genau deshalb lohnt es sich, sie systematisch zu dokumentieren und terminologisch zu schärfen.
Unbeantwortet ist noch die Frage, wie diese dialogbezogenen Effekte – insbesondere Drift, schwindende Persistenz und inkonsistentes Weiterführen früherer Aussagen – in der wissenschaftlichen Literatur als zusammenhängendes Phänomen beschrieben werden.
Eine sorgfältige Dokumentation schafft daher die Grundlage, diese Muster besser zu verstehen, ihre Ursachen klarer einzuordnen und langfristig Strategien zu entwickeln, die ihre Auswirkungen im Arbeitsalltag reduzieren. Sie dient damit sowohl der Reflexion aktueller Praxis als auch als Ausgangspunkt für weiterführende methodische oder wissenschaftliche Untersuchungen.
Ausblick
Ein naheliegender nächster Schritt besteht in einer systematischen Literaturrecherche, um zu klären, ob diese Phänomene bereits beschrieben und analysiert wurden.
Ergänzend bietet sich ein experimenteller Ansatz an, bei dem Drift und fehlende Persistenz gezielt nachgestellt und beobachtet werden. Wiederholte Iterationen, leicht variierte Prompts oder künstlich verlängerte Chatverläufe könnten genutzt werden, um zu analysieren, wie sich Definitionen, Strukturen oder Rollen im Verlauf verändern. Solche Experimente würden helfen, Schwellenwerte, Muster und Mechanismen dieser Instabilitäten besser zu verstehen und langfristig Werkzeuge oder Methoden zu entwickeln, die ihre Auswirkungen reduzieren.
Fazit
LLMs sind beeindruckende Werkzeuge, die Entwicklung, Analyse und Fehlersuche erheblich beschleunigen können. Gleichzeitig wird zunehmend sichtbar, dass ihre Grenzen weniger im fehlenden Wissen liegen, sondern in Instabilitäten, Drift und fehlender Persistenz über längere Interaktionen hinweg.
Das Verständnis dieser Phänomene ist ein wichtiger Schritt, um LLMs verlässlicher, reproduzierbarer und professioneller einsetzen zu können – und bildet die Grundlage für die nächsten Untersuchungen, die sich genau diesen Fragen widmen werden.