Wie funktionieren Sprachmodelle (LLMs)?

Wörter werden zu Token

Ein Sprachmodell arbeitet nicht mit Buchstaben, sondern mit „Token“ — kleinen Text-Bausteinen, oft Wortteilen. Der Satz wird in Token zerlegt, und das Modell schätzt für jede Position, welches Token als Nächstes am wahrscheinlichsten ist.

Das Kernprinzip: das nächste Token

Trainiert wird an riesigen Textmengen mit einer einzigen Aufgabe: Sage das nächste Token voraus. Wiederholt man das milliardenfach, lernt das Modell Grammatik, Fakten, Stil und Zusammenhänge — nicht weil es sie „versteht“, sondern weil diese Muster in der Sprache stecken.

Das Kontextfenster

Das Modell sieht immer nur einen begrenzten Ausschnitt — das Kontextfenster. Was darin steht (deine Frage plus der bisherige Verlauf), fließt in die nächste Vorhersage ein. Ist etwas nicht im Kontext, kann das Modell es nicht berücksichtigen.

Eingabe:  „Die Hauptstadt von Frankreich ist“
Modell:   Paris (0.92) · eine (0.02) · nicht (0.01) · …
Ausgabe:  „Paris“

Erst Grundwissen, dann Feinschliff

Ein Sprachmodell entsteht in mehreren Stufen. Im aufwendigen Vortraining liest es riesige Textmengen und lernt dabei Sprache, Fakten und Zusammenhänge — allein durch das ständige Vorhersagen des nächsten Tokens. Danach folgt der Feinschliff: Menschen zeigen dem Modell an Beispielen, welche Antworten hilfreich, höflich und sicher sind, und bewerten seine Ausgaben. Dieser zweite Schritt macht aus einem reinen Textvervollständiger einen brauchbaren Assistenten, der Anweisungen folgt statt nur Sätze fortzusetzen.

Warum Antworten mal gleich, mal anders sind

Das Modell wählt nicht immer stur das wahrscheinlichste Token. Ein Einstellwert, oft „Temperatur“ genannt, steuert, wie viel Zufall erlaubt ist. Niedrig eingestellt bleibt das Modell nüchtern und wiederholbar — gut für Fakten und Code. Höher eingestellt greift es auch mal zu weniger naheliegenden Wörtern, was kreativer wirkt, aber auch unberechenbarer. Deshalb kann dieselbe Frage je nach Einstellung unterschiedliche Antworten liefern.

So holt man das Beste heraus

Weil ein Sprachmodell nur den Kontext kennt, den es bekommt, entscheidet die Formulierung der Aufgabe stark über die Qualität. Klare, konkrete Anweisungen mit Beispielen führen zu besseren Ergebnissen als vage Fragen. Wichtige Informationen gehören direkt in den Prompt, statt vorausgesetzt zu werden. Und weil das Wissen eines Modells mit einem Stichtag endet und Fakten erfunden sein können, bleibt der Mensch in der Verantwortung — als derjenige, der prüft, einordnet und die Ergebnisse verlässlich macht.

Wissen nachliefern statt raten

Das Wissen eines Modells stammt aus seinem Training und endet mit einem Stichtag — interne Dokumente oder tagesaktuelle Zahlen kennt es grundsätzlich nicht. Statt es darauf zu trainieren, geht man den weit einfacheren Weg: Vor der Antwort durchsucht ein separater Schritt die eigenen Unterlagen nach passenden Abschnitten und stellt sie dem Modell zusammen mit der Frage in den Kontext. Das Modell formuliert dann nur noch die Antwort aus den mitgelieferten Belegen. Dieses Vorgehen heißt Retrieval Augmented Generation. Es senkt die Zahl erfundener Aussagen deutlich und macht Antworten überprüfbar, weil sich die verwendeten Quellen mit ausgeben lassen.

Warum Token auch die Kosten bestimmen

Token sind nicht nur eine technische Randnotiz, sie sind die Abrechnungseinheit. Anbieter berechnen sowohl den hineingegebenen Text als auch die erzeugte Antwort — wer bei jeder Anfrage ein langes Dokument mitschickt, bezahlt es jedes Mal aufs Neue. Auch die Wartezeit wächst mit der Länge, weil das Modell Token für Token erzeugt. Ein großes Kontextfenster verleitet deshalb zu einem Fehler: möglichst viel hineinzupacken. Sinnvoller ist es, gezielt die wirklich relevanten Abschnitte auszuwählen — das senkt die Kosten und verbessert häufig sogar die Antwortqualität, weil das Wesentliche nicht in Nebensächlichem untergeht.