Wie funktioniert ein Sprachmodell? Von der Wortvorhersage auf dem Handy zu ChatGPT – einfach erklärt
Ein Large Language Model (LLM) wie GPT oder Claude erzeugt Text, indem es Wort für Wort das wahrscheinlichste nächste Token vorhersagt. Diese Lektion erklärt den Weg vom Tokenizer über die Transformer-Architektur bis zur fertigen Antwort – verständlich und ohne Fachjargon.
📖 Wichtige Begriffe – kurz erklärt
LLM (Large Language Model)
Ein "Großes Sprachmodell" – die Technologie hinter ChatGPT, Claude & Co.
Token
Die Bausteine, in denen das Modell "denkt" – meist Wörter oder Wortteile.
Prompt
Deine Eingabe bzw. Frage an das Sprachmodell.
📱
Kennst du das von deinem Handy?
Wenn du eine Nachricht tippst, schlägt dein Handy das nächste Wort vor:"Ich bin gleich..." → da? fertig? zuhause?
ChatGPT und Claude funktionieren im Kern genauso – nur millionenfach leistungsfähiger. Sie sagen immer nur das nächste Wort vorher, und dann das nächste, und das nächste...
Das Grundprinzip: Wort für Wort vorhersagen
Ein Sprachmodell generiert Text, indem es immer nur das nächste wahrscheinlichste Wort berechnet
PROMPT
"Warum ist der Himmel blau?"
→
🧠
Sprachmodell
"Welches Wort passt am besten?"
→
RESPONSE
"Die blaue Färbung des Himmels..."
🔄 So läuft es Schritt für Schritt
1
📥
Deine Frage lesen
Das Modell nimmt deinen Text entgegen
2
🔍
Bisheriges betrachten
Was wurde schon geschrieben?
3
📊
Optionen abwägen
Welche Wörter könnten als nächstes kommen?
4
🎯
Bestes Wort wählen
Das wahrscheinlichste Wort wird ausgegeben
5
🔁
Wiederholen
Bis die Antwort vollständig ist
💡
Warum ist das wichtig zu wissen?
Das Sprachmodell "plant" seine Antwort nicht im Voraus. Es fragt sich nur immer wieder: "Welches Wort passt jetzt am besten?" – hunderte Male hintereinander. Deshalb können manchmal inhaltlich falsche, aber sprachlich "passende" Aussagen entstehen (sogenannte Halluzinationen).
▶️ Sieh dem Sprachmodell beim "Denken" zu
Beobachte, wie Wort für Wort die Antwort entsteht
Deine Frage + bisherige Wörter
WarumistderHimmelblau?
🧠
Sprachmodell
Mögliche nächste Wörter:
Die82%
Der9%
Das5%
Weil3%
Es1%
Generierte Antwort
Klicke "Animation starten" um zu beginnen...
Generierungsfortschritt0 / 5 Wörter generiert
🧩
Tokens = Die Puzzleteile der Sprache
Stell dir vor, du zerlegst einen Satz in einzelne Bausteine. Das Sprachmodell arbeitet nicht mit ganzen Sätzen, sondern mit diesen kleinen Einheiten – den Tokens. Meist ist ein Token ein Wort, manchmal aber auch nur ein Wortteil.
So sieht das in der Praxis aus
Häufige, kurze Wörter wie "der", "und", "ist" sind meist ein Token. Längere oder seltenere Wörter werden in mehrere Tokens aufgeteilt:
Beispiel: "Halluzination"
Halluzination
→ 3 Tokens für ein Wort
Beispiel: "the cat"
the cat
→ 2 Tokens (häufige Wörter = 1 Token)
💰
Kosten
API-Preise werden pro Token berechnet
📏
Kontextlänge
Max. Tokens begrenzen die Gesprächslänge
🌍
Sprachunterschiede
Deutsch braucht mehr Tokens als Englisch
🤓 Fun Fact
GPT-4 und Claude nutzen jeweils ~100.000 verschiedene Tokens in ihrem "Vokabular". Das ist wie ein riesiges Puzzle, aus dem jede Antwort Stück für Stück zusammengesetzt wird.
🎓
Wie ein Student: Erst lernen, dann anwenden
Ein Sprachmodell durchläuft zwei Phasen: Zuerst wird es mit riesigen Textmengen trainiert (wie ein Student, der für eine Prüfung lernt). Danach wird es genutzt – es wendet sein Wissen an, lernt aber nichts Neues dazu.
Die zwei Phasen im Detail
Das Training passiert einmalig beim Hersteller – die Nutzung passiert bei dir
TRAINING (beim Hersteller)
🏋️ Lernphase: Wissen aufbauen
📚Milliarden von Texten werden "gelesen"
🧠Das Modell lernt Muster und Zusammenhänge
🏭Dauert Wochen bis Monate
💵Kostet Millionen von Dollar
📅Passiert einmalig vor der Veröffentlichung
NUTZUNG (bei dir)
💬 Prüfung: Wissen anwenden
✍️Du stellst eine Frage
🧠Modell wendet sein Wissen an
🔒Es lernt dabei NICHTS Neues
⚡Antwort kommt in Sekunden
🔄Passiert bei jeder Anfrage
⚠️
Wichtig: Das Modell lernt NICHT aus deinen Gesprächen!
Wenn du mit ChatGPT oder Claude chattest, verändert sich das Modell nicht. Es "merkt" sich nichts dauerhaft. Dein Gespräch wird separat gespeichert und eventuell später für das Training einer zukünftigen Version verwendet (je nach Anbieter und Einstellungen).
Ihr Chat
→
Separat gespeichert
→
Kuratiert & geprüft
→
Nächste Version
(Monate später)
💡 Das solltest du wissen
📜
Wie "erinnert" es sich dann?
Das Modell schickt bei jeder Antwort den gesamten Chatverlauf mit. So wirkt es, als hätte es ein Gedächtnis.
🔄
Neuer Chat = Neustart
Startest du einen neuen Chat, weiß das Modell nichts mehr von vorherigen Gesprächen.
🔒
Datenschutz beachten
Je nach Anbieter und Einstellung können deine Eingaben für zukünftiges Training verwendet werden.
Schulungsmaterial · Wie funktioniert ein LLM?·KI-Wissen Team·Aktualisiert: 22. Februar 2026
