Entropie beschreibt die Grundrichtung des Universums: Ordnung zerfällt. Energie verteilt sich. Strukturen verlieren ihre Form – nicht weil etwas schiefläuft, sondern weil das der wahrscheinlichste Zustand ist. Der Zweite Hauptsatz der Thermodynamik formuliert das als Gesetz: In jedem geschlossenen System nimmt die Entropie niemals ab.
Rudolf Clausius prägte den Begriff 1865, um ein Phänomen zu beschreiben, das Ingenieure längst kannten: Wärme fließt von selbst immer nur vom Warmen zum Kalten, nie umgekehrt. Eine Maschine, die einmal läuft, verliert Energie an die Umgebung – als Wärme, als Reibung, als Geräusch. Der Grund ist nicht technisches Versagen. Es ist Statistik. Die Zahl möglicher ungeordneter Zustände übertrifft die Zahl möglicher geordneter Zustände so dramatisch, dass Ordnung immer ein Sonderfall bleibt – der aktiven Aufwands bedarf.
Kaffee kühlt ab. Häuser zerfallen ohne Pflege. Wissen verblasst, wenn niemand es weitergibt. Das sind keine Pech-Fälle. Das ist Entropie.
Shannons Entropie: Überraschung als Substanz
Claude Shannon hat 1948 gezeigt, dass dasselbe Gesetz für Information gilt – und das auf überraschende Weise. Er definierte Entropie neu: nicht als Maß für Unordnung in Energie, sondern als Maß für Unvorhersehbarkeit in Nachrichten. Je überraschender eine Nachricht, desto mehr Information enthält sie im mathematischen Sinne.
Das klingt kontraintuitiv. Ist nicht Ordnung das Ziel? Aber Shannon dreht das um: Eine vollständig vorhersehbare Nachricht enthält nahezu keine Information. Sie überrascht nicht. Das Unerwartete, das Exzentrische, das Originelle – das ist informationsreich. Und genau das verliert ein System, das sich selbst reproduziert.
Model Collapse: Der informationstheoretische Wärmetod
Hier treffen Thermodynamik und Informationstheorie aufeinander – in einem der aktuellsten Probleme der KI-Forschung.
KI-Sprachmodelle werden auf Texten aus dem Internet trainiert. Dieses Internet wird zunehmend mit KI-generierten Inhalten geflutet. Wenn nachfolgende Modelle auf diesen Daten trainiert werden, greift Shannons Data Processing Inequality: In jeder Verarbeitungskette kann die Information über den Ursprungszustand niemals zunehmen – nur abnehmen. Die Kette KI → Daten → KI → Daten verliert in jeder Iteration Informationsgehalt.
Das Ergebnis ist Model Collapse: Das Modell bevorzugt zunehmend die statistische Mitte – das Erwartbare, das Durchschnittliche. Die seltenen, originellen, kreativen Ausgaben verschwinden. Was bleibt, ist lauwarme Gleichförmigkeit. Kein Chaos, sondern sein Gegenteil: statistischer Einheitsbrei. Shumailov et al. haben das 2024 in Nature erstmals systematisch nachgewiesen.
Das ist der thermodynamische Wärmetod auf der Ebene von Information: nicht Zerfall in Chaos, sondern Zerfall in maximale Mittelmäßigkeit.
Der Mensch als Negentropie-Anker
Ein geschlossenes System kollabiert. Ein offenes System kann Ordnung erzeugen – wenn es Energie von außen aufnimmt und Entropie nach außen abgibt. Das gilt für Lebewesen. Es gilt für Wissensorganisationen. Und es gilt für KI-Systeme.
Der Mensch ist, aus dieser Perspektive, das offene System: Er bringt Erfahrung, Eigenartigkeit, Kontext aus der Wirklichkeit in das KI-System. Ein präziser, unkonventioneller Prompt ist informationstheoretisch eine Hochentropie-Injektion – er zwingt das Modell aus seinen statistisch ausgetretenen Pfaden in Regionen, die es allein nie erreicht hätte.
Yao et al. haben 2026 mathematisch gezeigt: Ein einziger echter Datenpunkt von außerhalb des Kreislaufs reicht, um den Kollaps des gesamten Systems zu verhindern. Nicht Dutzende. Einer. Der Mensch, der intentional promptet, querdenkt, als strenger Kurator urteilt – dieser Mensch ist der physikalisch notwendige Anker, nicht die optionale Ergänzung.
Aber die These trägt eine Bedingung: Wer nur generische Ein-Wort-Befehle eingibt, injiziert keine Entropie. Er beschleunigt den Kollaps. Die Schutzwirkung ist keine automatische Rolle. Sie ist eine Entscheidung.
Die Frage ist nie: Brauche ich aktive Auseinandersetzung mit KI? Die Frage ist: Was bringe ich in das System – oder was lasse ich es von sich aus reproduzieren?