Der Ausgangspunkt dieses Projekts war eine vergleichsweise einfache, aber zugleich überraschend schwer zu beantwortende Frage:
Wie arbeitet ein Large Language Model eigentlich – von der Eingabe bis zur Ausgabe?
Zwar existieren zu diesem Thema zahlreiche Blogartikel, Videos und wissenschaftliche Veröffentlichungen. Dennoch zeigte sich bei näherer Betrachtung schnell: Viele dieser Erklärungen setzen Vorwissen voraus, springen zwischen Abstraktionsebenen oder fokussieren einzelne Aspekte, ohne den gesamten Verarbeitungsweg konsistent zusammenzuführen. Was oft fehlt, ist ein durchgängiges mentales Modell.
Dieses Projekt ist aus dem Versuch entstanden, genau dieses Modell systematisch zu entwickeln.
Von der Literatur zur Struktur
Der erste Schritt bestand darin, sich bewusst nicht an bestehenden Erklärformaten zu orientieren, sondern zunächst einen Blick in einschlägige Literatur zu werfen: Fachartikel, Vorlesungsskripte, Blogposts von Praktikern und vereinfachende Darstellungen aus der Lehre. Dabei zeigte sich schnell ein gemeinsames Muster: Unabhängig von Architekturdetails oder Modellgrößen lassen sich moderne LLMs als Verarbeitungskette verstehen – eine Abfolge klar unterscheidbarer Schritte, die aus einer Texteingabe schrittweise eine Ausgabe erzeugen.
Diese Beobachtung führte zur Idee, den inneren Ablauf eines LLMs entlang einer Pipeline zu beschreiben – nicht als exakte technische Reproduktion, sondern als didaktisches Ordnungsprinzip. In einem einführenden Artikel habe ich diese Pipeline hergeleitet, motiviert und eingeordnet:
Warum diese Schritte sinnvoll getrennt betrachtet werden können, welche Vereinfachungen dabei bewusst in Kauf genommen werden – und wo typische Missverständnisse entstehen.
Dieser Artikel bildet den konzeptionellen Einstiegspunkt für alles, was folgt.
Die Pipeline als roter Faden
Auf Basis dieser Herleitung wurde die Pipeline zum strukturellen Rückgrat des gesamten Projekts. Sie beschreibt den Weg von der Eingabe zur Ausgabe in klar abgegrenzten Phasen, etwa:
- von der Texteingabe
- über Tokenisierung und numerische Repräsentationen
- durch mehrere Verarbeitungsstufen
- bis hin zur eigentlichen Textgenerierung
Wichtig ist dabei: Diese Pipeline ist kein internes API eines echten Modells, sondern eine erklärende Perspektive. Sie dient dazu, Orientierung zu schaffen und Komplexität kontrolliert aufzubrechen.
Vertiefende Artikel zu den einzelnen Phasen
Nachdem die Pipeline als Ganzes stand, folgte der nächste Schritt: Für jede Phase gibt es eine eigne detailliertere Beschreibung als Artikel. Diese Artikel verfolgen ein gemeinsames Ziel: Nicht möglichst viel technische Tiefe zu liefern, sondern verständlich zu machen, was in diesem Schritt grundsätzlich passiert, welche Rolle er im Gesamtprozess spielt und welche Fehlannahmen hier besonders häufig auftreten.
- Teil 1: Von Wörtern zu Token – Tokenizing in LLMs
- Teil 2: Vom Token zum Vektor: Embeddings und Semantische Nähe
- …
Jeder dieser Texte kann für sich gelesen werden – gewinnt aber an Klarheit, wenn man ihn als Teil der Gesamtpipeline versteht.
Vom Text zur Simulation
Im Verlauf dieser Arbeit wurde immer deutlicher, dass reine Textbeschreibungen an eine Grenze stoßen. Viele Konzepte – etwa Transformationen, Gewichtungen oder Wahrscheinlichkeiten – bleiben abstrakt, solange man sie nicht zumindest symbolisch „in Bewegung“ sieht.
Aus diesem Grund ist ergänzend eine didaktische WebApp entstanden:
Dieser Simulator bildet den Pipeline-Durchlauf vereinfacht und explizit nicht realistisch nach. Er erhebt keinen Anspruch darauf, ein echtes Modell zu ersetzen oder zu emulieren. Stattdessen erlaubt er, den Weg von der Eingabe zur Ausgabe Schritt für Schritt nachzuvollziehen und einzelne Phasen bewusst wahrzunehmen.
Der Simulator ist damit kein Lehrbuch und kein Forschungstool, sondern ein mentales Hilfsmittel: eine Möglichkeit, das zuvor Beschriebene noch einmal aus einer anderen Perspektive zu betrachten.
Einordnender Abschluss
Am Ende dieses Projekts steht keine neue Theorie und kein technischer Durchbruch. Was entstanden ist, ist eine zusammenhängende Erklärung: von der grundlegenden Fragestellung über eine strukturierende Pipeline-Idee bis hin zu vertiefenden Artikeln und einer unterstützenden Simulation.
Dieses Projekt richtet sich an alle, die mit LLMs arbeiten oder über sie sprechen – und dabei verstehen möchten, was zwischen Eingabe und Ausgabe grundsätzlich passiert, ohne sich sofort in mathematischen Details zu verlieren.
Es ist ein Versuch, Ordnung in ein Thema zu bringen, das oft gleichzeitig fasziniert und verwirrt – und genau darin liegt sein eigentlicher Zweck.