Magie oder Mathe? Die Arbeitsweise großer Sprachmodelle (LLMs)

Von Dr. Andreas Sackmann · Stand: 30.12.2025

Sprechende Maschinen sind ein lang gehegter Menschheitstraum. Bereits Homer erwähnt in seiner Ilias die goldenen Mägde des Technikgottes Hephaistos, die sich bewegen, verstehen und sprechen können. Mit dem Voranschreiten der Informatik wird antike Dichtung im 20. Jahrhundert zur technischen Vision und in den 2010er-Jahren mit modernen, generativen Sprachmodellen zur digitalen Wirklichkeit.

Aufgabe stellen, einen Augenblick warten, Ergebnis in Empfang nehmen – eine Alltagsroutine, die zunehmend Einfluss auf Arbeitswelt und Freizeit vieler Nutzer ausübt. Das Formulieren einer Aufgabe, das sogenannte Prompting, ist dabei keineswegs trivial. Es entscheidet maßgeblich über Qualität, Tiefe und Ausrichtung der Antwort.

Über den Prompt erhält das Sprachmodell seine Kernaufgabe, wird mit Kontext versorgt oder auf eine bestimmte Zielgruppe ausgerichtet. Sobald die Anweisung übermittelt ist, übernimmt das Modell die Kontrolle über den weiteren Prozess.

Der Tokenizer übersetzt die Anfrage in die Sprache des LLMs. Er zerlegt Sätze und Wörter in Buchstabenabfolgen, die im Wortschatz des jeweiligen Sprachmodells vorkommen. Diese sogenannten Tokens sind dem menschlichen Verstand nur noch bedingt zugänglich.

Jedes Sprachmodell greift auf seinen eigenen Wortschatz zurück, der in der Regel zwischen 50.000 und 100.000 Tokens umfasst. Jedes Token ist eindeutig und wird durch eine diskrete Zahl repräsentiert. Die Tokenisierung ist damit der erste Schritt des Prompts auf seinem Weg in die numerische Welt.

Im Embedding-Layer wird jeder Token mit einem multidimensionalen Vektor verknüpft. Diese Embedding-Vektoren repräsentieren die Tokens in einem semantischen Raum. Wie viele Dimensionen dieser Bedeutungsraum umfasst, ist von Sprachmodell zu Sprachmodell unterschiedlich. Mehrere Tausend Dimensionen sind dabei üblich.

In dieser vollständig numerischen Form tritt die ursprüngliche Anfrage ihre Reise in das Innerste des Sprachmodells an.

Im Transformer offenbaren LLMs ihre wahre Superkraft: Sie berechnen aus den Input-Vektoren in einer langen Kette von Rechenschritten die Output-Vektoren. Bei der Berechnung eines jeden Output-Vektors fließen Informationen aus allen anderen kontextrelevanten Vektoren ein. Die Vektoren werden kontextualisiert, sie werden zueinander in Beziehung gesetzt. Diese hochdimensionalen Vektoren tragen bereits den Kern der späteren Antwort in sich.

Die Selbstachtsamkeit oder Self-Attention des Transformers ist die bahnbrechende Neuerung, die generativen KI-Modellen einen deutlichen Vorsprung gegenüber ihren sequenziellen Vorgängern verschafft. Die parallele Verarbeitung der Daten macht große Sprachmodelle außergewöhnlich schnell und hebt die Qualität ihrer Ergebnisse auf ein bislang unerreichtes Niveau.

In der Output-Pipeline erfolgt die Rückübersetzung auf die sprachliche Ebene. Aus Vektoren werden Tokens, aus Tokens Wörter. Einfache Fragen führen häufig zu einem kurzen Output, komplexere zu ausführlichen, strukturierten Antworten.

Die Bedeutung großer Sprachmodelle für die gesamte IT-Landschaft zeigt sich nach und nach. Die Einsatzmöglichkeiten scheinen nahezu unbegrenzt. Google, Meta und andere Technologiekonzerne reagieren mit milliardenschweren Investitionen auf das enorme Nutzerinteresse und den globalen Datenhunger.

Leistungsfähige Hyperscale-Rechenzentren entstehen rund um den Globus. Jedes einzelne von ihnen verbraucht dabei so viel Energie wie eine ausgewachsene Großstadt. Der tiefe ökologische Fußabdruck rückt die KI zunehmend in den Fokus gesellschaftlicher Diskussionen. Daneben werden die Gefahren durch den illegalen oder unmoralischen Einsatz generativer KI-Modelle immer augenfälliger. Demgegenüber stehen ein noch gar nicht abschätzbares Wirtschaftspotential, der enorme intellektuelle Mehrwert und der hohe Unterhaltungswert für alle Nutzer im Internet.