Magie oder Mathe? Die Arbeitsweise großer Sprachmodelle (LLMs) – einfach erklärt.
Die großen Sprachmodelle wie Claude, GPT und Gemini sind die multimodalen Alleskönner unter den Apps. Sie werden mit gigantischen Datenmengen trainiert und beherrschen das Schreiben von Texten ebenso wie das Visualisieren und das Coding in allen gängigen Programmiersprachen.
Wie schaffen es die Modelle im Bruchteil einer Sekunde selbst ungewöhnliche Fragen zu beantworten? Magie – oder doch nur schnöde Rechnerei? Ein Blick in die Herzkammern der generativen KI-Modelle schafft Klarheit.
Von Dr. Andreas Sackmann · Stand: 08.03.2026
Timeline
Sprechende Maschinen sind ein lang gehegter Menschheitstraum. Bereits Homer erwähnt in seiner Ilias die goldenen Mägde des Technikgottes Hephaistos, die sich bewegen, verstehen und sprechen können. Mit dem Voranschreiten der Informatik wird antike Dichtung im 20. Jahrhundert zur technischen Vision und in den 2010er-Jahren mit modernen, generativen Sprachmodellen zur digitalen Wirklichkeit.
Prompting
Aufgabe stellen, einen Augenblick warten, Ergebnis in Empfang nehmen – für viele Nutzer eine digitale Alltagsroutine. Das Formulieren einer Aufgabe, das Prompting, ist dabei keineswegs trivial. Es entscheidet maßgeblich über Qualität, Tiefe und Ausrichtung der Antwort.
Über den Prompt erhält das Modell seine Kernaufgabe, wird mit Kontext versorgt oder auf eine bestimmte Zielgruppe ausgerichtet. Sobald die Anweisung übermittelt ist, übernimmt das Sprachmodell die Kontrolle über die Weiterverarbeitung der Eingabe.
Tokenizing
Der Tokenizer übersetzt die Anfrage in die Sprache des LLMs. Er zerlegt Sätze und Wörter in Buchstabenabfolgen, die im Wortschatz des jeweiligen Sprachmodells vorkommen. Diese sogenannten Tokens sind dem menschlichen Verstand nur noch bedingt zugänglich.
Jedes Sprachmodell greift auf seinen eigenen Wortschatz zurück, der in der Regel zwischen 50.000 und 100.000 Tokens umfasst. Jedes Token ist eindeutig und wird durch eine diskrete Zahl repräsentiert. Die Tokenisierung ist der erste Schritt des Prompts auf seinem Weg in die numerische Welt.
Embedding
Im Embedding-Layer wird jeder Token mit einem multidimensionalen Vektor verknüpft. Diese Embedding-Vektoren repräsentieren die Tokens in einem semantischen Raum. Wie viele Dimensionen dieser Bedeutungsraum umfasst, ist von Sprachmodell zu Sprachmodell unterschiedlich. Mehrere Tausend Dimensionen sind dabei üblich.
In dieser vollständig numerischen Form tritt die ursprüngliche Anfrage ihre Reise in das Innerste des Sprachmodells an.
Transformation
Im Transformer offenbaren LLMs ihre wahre Superkraft: Sie berechnen aus den Input-Vektoren in einer langen Kette von Rechenschritten die Output-Vektoren. Die Output-Vektoren werden aus dem gesamten Input plus dem bereits vorhandenen Output berechnet, sie werden kontextualisiert. Diese hochdimensionalen Vektoren tragen bereits den Kern der späteren Antwort in sich.
Der Self-Attention-Mechanismus des Transformers ist die bahnbrechende Neuerung, die LLMs außergewöhnlich schnell macht und die Qualität der Ergebnisse auf ein bislang unerreichtes Niveau hebt. Die gleichzeitige Verarbeitung großer Kontextmengen stellt einen Meilenstein inder Entwicklung der Informationstechnologie dar.
Output
In der Output-Pipeline erfolgt die Rückübersetzung auf die sprachliche Ebene. Aus Vektoren werden Tokens, aus Tokens Wörter. Einfache Fragen führen häufig zu einem kurzen Output, komplexere zu ausführlichen, strukturierten Antworten.
Lookout
Die großen Sprachmodelle beeinflussen die gesamte IT-Landschaft – ihre Einsatzmöglichkeiten wachsen stetig. Google, Meta und andere Technologiekonzerne investieren massiv in die Weiterentwicklung generativer KI-Systeme. Leistungsfähige Hyperscale-Rechenzentren entstehen rund um den Globus – jedes einzelne verbraucht so viel Energie wie eine Großstadt.
Der tiefe ökologische Fußabdruck rückt die KI zunehmend in den Fokus gesellschaftlicher Diskussionen. Daneben werden die Gefahren durch den illegalen oder unmoralischen Einsatz generativer KI-Modelle immer augenfälliger. Demgegenüber stehen ein noch nicht abschätzbares Wirtschaftspotential, der enorme intellektuelle Mehrwert und der hohe Unterhaltungswert für alle Nutzer im Internet.
Die generativen Sprachmodelle setzten den ersten informationstechnologischen Meilenstein seit Bestehen des Word Wide Web. Sie verwandeln die globale Informationsarchitektur in ein dialogfähiges Werkzeug.
LLMs im Web – kommentierte Hyperlinks
Attention Is All You Need
Vaswani et al. stellen 2017 die Transformer-Architektur mit Self-Attention-Mechanismus vor – das technische Herzstück moderner Sprachmodelle.
Überblick über Entwicklung und Anwendung der großen Sprachmodelle
Umfassender Überblick über die Entwicklungsgeschichte der großen Sprachmodelle; von neuronalen Modellen hin zu LLMs. Ein weiterer Schwerpunkt ist das breite Anwendungsspektrum generativer KI: Texterstellung, Chat-Systeme, multilinguale Übersetzungen, mathematische Probleme, Integration in komplexe Workflows.
„A Right to Warn about Advanced Artificial Intelligence“
Insider-Wissen zu den Risiken unregulierter KI. Das beschriebene Gefahrenpotenzial reicht dabei von einfachen Fehlinformationen bis zur Vernichtung der Menschheit durch außer Kontrolle geratene KI-Systeme.
