Hierarchische World Models

Einleitung

Hierarchische World Models sind ein Forschungsansatz der Künstlichen Intelligenz, der neuronale Netze nicht nur als Mustererkenner, sondern als lernende Systeme mit einem inneren Modell der Welt versteht. Ein solches World Model soll aus Beobachtungen lernen, wie sich eine Umgebung verändert, welche Folgen eigene Aktionen haben und welche Handlungen zu einem Ziel führen könnten. Der Begriff ist besonders wichtig in der Forschung zu bestärkendem Lernen, modellbasiertem Lernen, Robotik, autonomen Systemen, selbstüberwachtem Lernen und neueren Debatten über allgemeinere KI-Systeme.

{{#ev:youtube| https://www.youtube.com/watch?v=-ErnXnq9dtE |500|center}}

Das Video behandelt das Thema Hierarchische World Models / Neuronale Netze neu denken und ordnet es in Zukunftsfragen jenseits klassischer Deep-Learning-Architekturen ein. Dieser aiMOOC hilft Dir, die Grundidee fachlich sauber zu verstehen: Ein Agent nimmt Beobachtungen auf, bildet daraus latente Zustände, sagt mögliche Zukunftsverläufe voraus, plant über mehrere Zeithorizonte und handelt anschließend in einer realen oder simulierten Umgebung.

Ein künstliches neuronales Netz besteht aus Schichten künstlicher Neuronen, die Daten schrittweise umformen. Bei klassischen Aufgaben wie Bildklassifikation, Spracherkennung oder Textgenerierung wird häufig eine direkte Ausgabe erzeugt. Ein World Model geht einen Schritt weiter: Es lernt eine innere, komprimierte Repräsentation der Umwelt und nutzt diese Repräsentation für Vorhersage, Planung und Kontrolle.

Lernziele

Nach diesem aiMOOC kannst Du erklären, was ein World Model ist, warum latente Repräsentationen wichtig sind und wie hierarchische Architekturen Wahrnehmung, Gedächtnis, Vorhersage und Handeln verbinden. Du kannst den Unterschied zwischen modellfreiem Lernen und modellbasiertem Lernen beschreiben, zentrale Beispiele wie World Models, PlaNet, Dreamer, DreamerV3, MuZero und JEPA einordnen und kritisch beurteilen, welche Chancen und Grenzen diese Ansätze besitzen.

World Model: Du verstehst, wie ein System eine innere Repräsentation seiner Umwelt lernt.
Latenter Raum: Du kannst erklären, warum Modelle nicht alle Pixel oder Messwerte speichern müssen.
Bestärkendes Lernen: Du erkennst, wie Agent, Umwelt, Zustand, Aktion und Belohnung zusammenwirken.
Planung: Du kannst beschreiben, wie ein Agent in einem gelernten Modell Zukunftsverläufe simuliert.
Hierarchische Architektur: Du kannst mehrere Abstraktionsebenen vom Sinneseindruck bis zum Zielplan unterscheiden.
KI-Ethik: Du kannst Risiken von fehlerhaften Weltmodellen und unzureichend geprüften autonomen Systemen reflektieren.

Was ist ein World Model?

Ein World Model ist ein lernbares internes Modell, das beschreibt, wie sich eine Umgebung wahrscheinlich entwickeln wird. Es beantwortet nicht einfach die Frage: „Was sehe ich gerade?“, sondern versucht auch zu lernen: „Was passiert als Nächstes, wenn ich dies oder jenes tue?“ Dadurch wird ein World Model zu einem zentralen Baustein für Systeme, die Vorhersage, Planung und Handlung verbinden sollen.

In der KI-Forschung wurde der Begriff besonders durch die Arbeit World Models von David Ha und Jürgen Schmidhuber geprägt. Dort wird ein generatives neuronales Modell trainiert, das eine Umgebung in komprimierter Form erfasst. Ein Agent kann anschließend mit diesem gelernten Modell arbeiten, statt jede Entscheidung ausschließlich direkt in der realen Umgebung auszuprobieren. Besonders wichtig ist dabei die Idee, dass ein Agent in einer Art innerer Simulation lernen kann. Dadurch wird nicht behauptet, dass das Modell die wirkliche Welt perfekt abbildet. Vielmehr lernt es eine für die Aufgabe nützliche, reduzierte und fehleranfällige Repräsentation.

Im bestärkenden Lernen interagiert ein Agent mit einer Umgebung. Er erhält Beobachtungen oder Zustände, wählt Aktionen aus und bekommt Rückmeldungen in Form von Belohnungen. Ein modellfreier Ansatz lernt meist direkt, welche Aktion in welcher Situation nützlich ist. Ein modellbasierter Ansatz lernt zusätzlich ein Modell der Umgebungsdynamik. Dieses Modell kann dann für Vorhersagen und Planung genutzt werden.

Grundidee in einfachen Worten

Stell Dir vor, Du lernst Fahrradfahren. Du speicherst nicht jedes einzelne Bild, das Deine Augen sehen. Du lernst vielmehr Zusammenhänge: Wenn Du zu stark nach links lenkst, verändert sich Dein Gleichgewicht; wenn Du bremst, wird das Rad langsamer; wenn der Untergrund rutschig ist, musst Du vorsichtiger handeln. Dein Gehirn bildet also ein vereinfachtes, aber nützliches Weltmodell. Ein World Model in der KI soll ähnlich funktionieren: Es komprimiert Beobachtungen, lernt zeitliche Dynamik und erlaubt gedankliches Ausprobieren.

Zentrale Bestandteile

Encoder: Er wandelt komplexe Eingaben wie Bilder, Töne, Sensorwerte oder Text in eine kompakte Repräsentation um.
Latenter Zustand: Er beschreibt relevante Aspekte der Situation in einem verdichteten Merkmalsraum.
Dynamikmodell: Es sagt voraus, wie sich latente Zustände nach Aktionen verändern.
Belohnungsmodell: Es schätzt, welche Zustände oder Aktionen für ein Ziel wertvoll sind.
Controller: Er wählt Aktionen aus, die auf Basis des Weltmodells sinnvoll erscheinen.
Planer: Er simuliert mögliche Zukunftsverläufe und vergleicht Handlungsoptionen.

Warum hierarchisch?

Hierarchische World Models ordnen Wahrnehmung, Vorhersage und Planung auf mehreren Abstraktionsebenen. Eine niedrige Ebene kann schnelle sensorische Veränderungen erfassen, etwa Bewegung, Kanten, Positionen oder Kontaktpunkte. Eine mittlere Ebene kann Objekte, Beziehungen oder Handlungsabschnitte repräsentieren. Eine hohe Ebene kann Ziele, Strategien, Regeln oder langfristige Absichten modellieren.

Diese Idee ist wichtig, weil reale Umgebungen zu komplex sind, um jede Kleinigkeit dauerhaft vorherzusagen. Ein Modell, das jede Pixelbewegung exakt rekonstruieren will, verschwendet oft Rechenleistung auf Details, die für eine Entscheidung irrelevant sind. Ein hierarchisches Modell kann dagegen lernen, welche Informationen auf welcher Ebene wichtig sind. Beim Greifen eines Bechers ist zum Beispiel nicht jede Lichtreflexion entscheidend, wohl aber die Position des Bechers, die Entfernung der Hand, die Stabilität des Griffs und das Ziel der Handlung.

Ebenen einer möglichen Hierarchie

Sensorische Ebene: Rohdaten aus Kamera, Mikrofon, Text, Tastsensoren oder anderen Quellen.
Perzeptuelle Ebene: Muster, Objekte, Bewegungen, räumliche Beziehungen und Ereignisse.
Latente Ebene: Komprimierte Zustandsbeschreibung, die relevante Informationen bündelt.
Dynamische Ebene: Vorhersage, wie Zustände durch Zeit und Aktionen verändert werden.
Planungsebene: Vergleich möglicher Zukunftsverläufe und Auswahl geeigneter Handlungen.
Zielebene: Bewertung von Zuständen anhand von Aufgaben, Regeln, Sicherheit und Nutzen.

Zeithorizonte

Hierarchie betrifft nicht nur Abstraktion, sondern auch Zeit. Ein niedriges Modell kann Millisekunden oder Sekundenbruchteile betrachten. Ein höheres Modell kann Sekunden, Minuten oder ganze Handlungsfolgen abbilden. In der Robotik wäre dies besonders relevant: Ein Roboter muss kurzfristig seine Motoren stabilisieren, mittelfristig Objekte manipulieren und langfristig eine Aufgabe erfüllen. Ein einzelnes flaches Modell wäre dafür oft schwer trainierbar, weil alle Details und Ziele gleichzeitig verarbeitet werden müssten.

Neuronale Netze neu denken

Viele erfolgreiche Deep-Learning-Systeme lernen Abbildungen von Eingaben auf Ausgaben. Ein Bild wird einer Klasse zugeordnet, ein Satz wird fortgesetzt, ein Audiosignal wird transkribiert. World Models verschieben den Fokus: Ein neuronales Netz soll nicht nur reagieren, sondern eine handlungsrelevante Struktur der Welt lernen. Diese Verschiebung verändert mehrere Grundannahmen.

Vom Output zur Vorhersage: Nicht nur die nächste Antwort zählt, sondern die Vorhersage möglicher Zustandsänderungen.
Von Daten zu Erfahrung: Der Agent lernt aus Interaktion, Beobachtung und Rückkopplung.
Von Pixeln zu Bedeutung: Relevante abstrakte Merkmale sind oft wichtiger als perfekte Rekonstruktion.
Von Reaktion zu Planung: Das System kann Handlungen gedanklich testen, bevor es sie ausführt.
Von flachen Modellen zu Hierarchien: Wahrnehmung, Dynamik und Ziele werden auf unterschiedlichen Ebenen organisiert.

Autoencoder und verwandte Verfahren zeigen, wie komplexe Daten in einen latenten Raum komprimiert werden können. Für World Models ist diese Kompression entscheidend: Der Agent braucht keine vollständige Kopie der Welt, sondern ein nützliches internes Modell der Aspekte, die für Vorhersage und Handlung relevant sind.

Fachbegriffe

Agent

Ein Agent ist ein handelndes System. Er nimmt Informationen aus seiner Umgebung auf, verarbeitet sie und wählt Aktionen. In einem Computerspiel kann der Agent eine Spielfigur sein, in der Robotik ein Roboter, in der Verkehrssteuerung ein autonomes Fahrzeug oder in einer Simulation ein künstlicher Akteur.

Umgebung

Die Umgebung ist alles, womit der Agent interagiert. Sie kann real sein, etwa ein Raum mit Gegenständen, oder künstlich, etwa ein Spiel, eine Simulation oder ein Datensatz. Für World Models ist die Umgebung wichtig, weil aus ihr Beobachtungen, Rückmeldungen und Veränderungen entstehen.

Zustand

Ein Zustand beschreibt die relevante Situation zu einem Zeitpunkt. In einfachen Problemen kann der Zustand vollständig bekannt sein. In realen Situationen ist er meist nur teilweise beobachtbar. Ein Agent sieht also nicht die ganze Welt, sondern nur Ausschnitte. Deshalb sind latente Zustände wichtig: Sie fassen beobachtete Informationen und Erwartungen zusammen.

Aktion

Eine Aktion ist eine Handlung des Agenten. Sie kann eine Bewegung, eine Entscheidung, ein Steuerbefehl oder eine Kommunikationshandlung sein. In einem World Model wird gelernt, welche Folgen bestimmte Aktionen wahrscheinlich haben.

Belohnung

Eine Belohnung ist ein Rückmeldesignal. Sie zeigt an, ob ein Zustand oder eine Aktion im Sinne der Aufgabe gut oder schlecht war. In der Praxis kann eine schlechte Belohnungsdefinition zu unerwünschtem Verhalten führen. Deshalb müssen Reward Design, Sicherheit und Ethik gemeinsam betrachtet werden.

Policy

Eine Policy ist eine Strategie, die Zustände auf Aktionen abbildet. Sie beantwortet die Frage: „Was soll der Agent jetzt tun?“ In World-Model-Ansätzen kann die Policy mithilfe vorgestellter Zukunftsverläufe verbessert werden.

Latenter Raum

Ein Latenter Raum ist ein abstrakter Merkmalsraum, in dem komplexe Eingaben kompakter dargestellt werden. Ein Bild wird nicht als Millionen einzelner Pixel verarbeitet, sondern als Bündel relevanter Merkmale. Für Planung ist ein guter latenter Raum besonders wertvoll, weil er die Suche nach sinnvollen Aktionen erleichtert.

Imagination und Rollout

Als Imagination oder Rollout bezeichnet man eine simulierte Folge zukünftiger Zustände. Ein Agent fragt: „Wenn ich Aktion A ausführe, was könnte passieren? Und was passiert danach?“ Solche Rollouts können im gelernten Modell stattfinden und müssen nicht vollständig in der realen Umgebung ausprobiert werden.

Forschungsbeispiele

World Models von Ha und Schmidhuber

Die Arbeit World Models zeigt eine Architektur, in der ein großes Modell zunächst eine komprimierte räumlich-zeitliche Repräsentation der Umgebung lernt. Danach wird ein kleinerer Controller trainiert, der diese Repräsentation nutzt. Die Architektur besteht vereinfacht aus einem variationalen Autoencoder für die visuelle Kompression, einem rekurrenten Modell für zeitliche Dynamik und einem Controller für Aktionen. Didaktisch wichtig ist dabei die Trennung zwischen Weltverständnis und Handlungsauswahl.

PlaNet

PlaNet steht für Deep Planning Network. Der Ansatz lernt eine latente Dynamik aus Pixelbeobachtungen und plant direkt in diesem latenten Raum. Das ist bedeutsam, weil Planung aus rohen Bilddaten schwierig ist. PlaNet zeigt, wie ein Agent lernen kann, aus Bildern eine kompakte Zustandsdynamik zu bilden und damit Handlungen zu wählen.

Dreamer und DreamerV3

Dreamer nutzt ein gelerntes Weltmodell, um Verhalten durch latente Imagination zu lernen. Der Agent stellt sich zukünftige Zustände im latenten Raum vor und verbessert daraus seine Handlungsstrategie. DreamerV3 erweitert diese Idee zu einem robusteren Algorithmus, der auf viele Aufgaben mit einer einheitlichen Konfiguration angewendet werden kann. Für Lernende ist hier besonders wichtig: Das Modell lernt nicht nur aus tatsächlich ausgeführten Aktionen, sondern auch aus vorgestellten Verläufen im eigenen Weltmodell.

MuZero

MuZero kombiniert ein gelerntes Modell mit Baumsuche. Es benötigt keine vorgegebenen Spielregeln als perfektes Umgebungsmodell, sondern lernt für die Planung relevante Größen wie Belohnung, Wert und Aktionsauswahl. MuZero ist ein Beispiel dafür, dass ein Modell nicht alle Details der Umwelt rekonstruieren muss. Für erfolgreiches Planen reicht oft ein Modell, das die entscheidungsrelevanten Aspekte gut genug vorhersagt.

JEPA und H-JEPA

JEPA steht für Joint Embedding Predictive Architecture. Statt fehlende Informationen pixelgenau zu rekonstruieren, sagt JEPA abstrakte Repräsentationen voraus. Yann LeCun und andere Forschende argumentieren, dass solche abstrakten Vorhersagen ein Weg zu effizienteren Weltmodellen sein könnten. H-JEPA bezeichnet eine hierarchische Variante dieser Idee: Wahrnehmungen und Handlungspläne werden auf mehreren Abstraktionsebenen repräsentiert und vorhergesagt.

{{#ev:youtube| https://www.youtube.com/watch?v=EvSe0ktD95k |500|center}}

V-JEPA

V-JEPA überträgt die JEPA-Idee auf Videos. Das Modell lernt, maskierte raum-zeitliche Bereiche nicht als vollständige Pixelrekonstruktion, sondern in einem abstrakten Repräsentationsraum vorherzusagen. Für World Models ist das relevant, weil viele reale Aufgaben Bewegung, Zeit und Interaktion enthalten. Ein Video enthält mehr Weltstruktur als ein einzelnes Bild: Objekte bewegen sich, Ursachen haben Folgen und Handlungen erzeugen Veränderungen.

Architektur eines hierarchischen World Models

Ein mögliches hierarchisches World Model kann modular aufgebaut sein. Die folgende Darstellung ist kein festes Standardmodell, sondern eine didaktische Struktur, mit der Du die wichtigsten Bausteine ordnen kannst.

Wahrnehmungsmodul: Nimmt Rohdaten auf und extrahiert Merkmale.
Repräsentationsmodul: Bildet latente Zustände und abstrahiert irrelevante Details.
Dynamikmodul: Sagt Zustandsübergänge voraus.
Gedächtnismodul: Speichert relevante frühere Informationen.
Planungsmodul: Simuliert mehrere mögliche Zukunftsverläufe.
Zielmodul: Bewertet Optionen anhand von Aufgaben, Kosten, Sicherheit und Nutzen.
Handlungsmodul: Wählt die nächste Aktion aus und führt sie aus.

Viele Aufgaben lassen sich als Markov-Entscheidungsprozess beschreiben. Dabei hängt die nächste Situation vom aktuellen Zustand und von der gewählten Aktion ab. In realen Umgebungen ist der Zustand jedoch oft unvollständig, verrauscht oder mehrdeutig. Hier kommen latente Modelle, Gedächtnis und Vorhersage ins Spiel.

Beispiel: Roboterarm

Ein Roboterarm soll einen Würfel greifen. Ein flaches Modell könnte aus Kamerabildern direkt Motorbefehle erzeugen. Ein hierarchisches World Model könnte dagegen mehrere Ebenen verwenden: Auf der ersten Ebene erkennt es Kanten, Farben und Bewegungen. Auf der zweiten Ebene erkennt es Würfel, Tischkante und Greifer. Auf der dritten Ebene modelliert es, ob der Greifer den Würfel erreichen kann. Auf der vierten Ebene plant es eine Folge von Handlungen: Arm bewegen, Greifer öffnen, Position korrigieren, greifen, anheben. Diese Aufteilung macht das Problem verständlicher und potenziell robuster.

Beispiel: Autonomes Fahren

Ein autonomes Fahrzeug muss Fußgänger, Fahrbahn, Ampeln, andere Fahrzeuge und Verkehrsregeln berücksichtigen. Ein World Model kann helfen, mögliche Entwicklungen vorherzusagen: Ein Fußgänger könnte die Straße betreten, ein Fahrzeug könnte bremsen, die eigene Aktion könnte den Sicherheitsabstand verändern. Hierarchie ist wichtig, weil kurzfristige Fahrdynamik und langfristige Routenplanung auf unterschiedlichen Ebenen stattfinden.

Beispiel: Sprach- und Handlungsplanung

Auch Sprachmodelle können in der Debatte um Weltmodelle betrachtet werden. Ein reines Sprachmodell sagt sprachliche Fortsetzungen vorher. Ein handlungsfähiges Weltmodell müsste zusätzlich wissen, welche realen oder simulierten Folgen eine Handlung hat. Für Assistenzsysteme, Lernroboter oder Laborautomaten wäre dies entscheidend: Sie müssten nicht nur passende Sätze erzeugen, sondern Pläne prüfen, Risiken erkennen und ihre Handlungen an der Welt ausrichten.

Vergleich: Modellfrei und modellbasiert

Modellfreies Lernen

Beim modellfreien Lernen lernt ein Agent direkt, welche Aktion in einer Situation voraussichtlich gut ist. Der Agent muss nicht ausdrücklich vorhersagen, wie sich die Umwelt verändert. Das kann in vielen Aufgaben erfolgreich sein, benötigt aber oft viele Interaktionen. In realen Umgebungen kann das teuer, langsam oder gefährlich sein.

Modellbasiertes Lernen

Beim modellbasierten Lernen lernt der Agent zusätzlich ein Modell der Umwelt. Er kann damit Handlungen gedanklich testen. Wenn das Modell gut genug ist, können weniger reale Versuche nötig sein. Allerdings entsteht ein neues Problem: Wenn das Weltmodell falsch ist, plant der Agent auf einer fehlerhaften Grundlage.

Warum ein unvollständiges Modell trotzdem nützlich sein kann

Ein World Model muss nicht jede Einzelheit korrekt rekonstruieren. Für eine Entscheidung zählt vor allem, ob die relevanten Folgen einer Handlung ausreichend gut vorhergesagt werden. Ein Schachprogramm muss nicht die Holzstruktur der Figuren modellieren, sondern legale Züge, Stellungen und Gewinnwahrscheinlichkeiten. Ein Roboter muss nicht jedes Pixel vorhersagen, sondern Griffpunkte, Hindernisse, Kräfte und Risiken. Gute Weltmodelle sind daher oft aufgabenrelevant statt vollständig.

Chancen

Hierarchische World Models können helfen, KI-Systeme daten- und interaktionseffizienter zu machen. Wenn ein Agent in seinem gelernten Modell planen kann, muss er nicht jede Möglichkeit real ausprobieren. Das ist besonders relevant für Robotik, medizinische KI, Autonomes Fahren, Energiesysteme, Industrie 4.0 und wissenschaftliche Modellierung.

Datenökonomie: Weniger reale Versuche können nötig sein.
Planung: Handlungen können vor der Ausführung simuliert werden.
Transferlernen: Gelernte Repräsentationen können auf verwandte Aufgaben übertragen werden.
Abstraktion: Unwichtige Details können ausgeblendet werden.
Robustheit: Mehrere Ebenen können helfen, Störungen besser einzuordnen.
Erklärbarkeit: Latente Zustände, Ziele und Rollouts können Ansatzpunkte für Analyse bieten.

Grenzen und offene Probleme

Trotz großer Fortschritte sind World Models keine gelöste Aufgabe. Reale Umgebungen sind unvollständig beobachtbar, mehrdeutig, dynamisch und oft sicherheitskritisch. Ein Modell kann falsche Kausalzusammenhänge lernen, seltene Ereignisse unterschätzen oder in einer Simulation gut funktionieren, aber in der realen Welt versagen.

Modellfehler: Kleine Vorhersagefehler können sich über viele Schritte verstärken.
Verteilungsverschiebung: Neue Situationen können außerhalb der Trainingsdaten liegen.
Kausalität: Korrelationen sind nicht automatisch verlässliche Ursachen.
Sicherheit: Fehlerhafte Planung kann in realen Systemen Schaden verursachen.
Bewertung: Es ist schwer zu messen, ob ein Modell die Welt wirklich versteht.
Rechenaufwand: Hochdimensionale Weltmodelle können sehr teuer zu trainieren sein.
Ethik: Autonome Systeme benötigen Kontrolle, Transparenz und Verantwortlichkeit.

Didaktisches Beispiel: Der Agent im Labyrinth

Ein Agent bewegt sich durch ein Labyrinth. Er sieht nur einen kleinen Ausschnitt seiner Umgebung. Ein modellfreier Agent lernt vielleicht: „In dieser Ansicht ist rechts oft gut.“ Ein World Model kann zusätzlich lernen: „Wenn ich rechts gehe, komme ich wahrscheinlich in einen Gang; wenn ich links gehe, stoße ich an eine Wand; wenn ich zweimal geradeaus gehe, erreiche ich eine Kreuzung.“ Ein hierarchisches Modell könnte auf niedriger Ebene Wände und Wege erkennen, auf mittlerer Ebene Räume und Kreuzungen unterscheiden und auf hoher Ebene eine Strategie zum Ziel planen.

Dieses Beispiel zeigt, warum Abstraktion wichtig ist. Der Agent muss nicht jede Wandtextur speichern. Er muss wissen, welche Wege begehbar sind, wo er schon war, welche Aktionen möglich sind und welche Route wahrscheinlich zum Ziel führt.

Merksätze

World Model: Ein World Model ist ein lernbares internes Modell möglicher Zustände und Zustandsänderungen.
Latenter Raum: Ein latenter Raum komprimiert komplexe Beobachtungen zu handlungsrelevanten Merkmalen.
Imagination: Ein Agent kann im gelernten Modell mögliche Zukunftsverläufe simulieren.
Hierarchie: Hierarchische Modelle ordnen Wahrnehmung, Dynamik und Planung auf mehreren Ebenen.
Planung: Gute Planung benötigt nicht perfekte Rekonstruktion, sondern relevante Vorhersagen.
Kritisches Denken: Ein Weltmodell ist immer eine Vereinfachung und muss an realen Folgen geprüft werden.

Interaktive Aufgaben

Quiz: Teste Dein Wissen

Was ist ein World Model in der KI? (Ein internes Modell, das Zustände und mögliche Entwicklungen einer Umgebung vorhersagt) (!Eine Datenbank mit allen Informationen über die Erde) (!Ein Bildschirm, auf dem eine Simulation angezeigt wird) (!Ein fester Algorithmus ohne Lernanteil)

Warum sind latente Repräsentationen für World Models wichtig? (Sie komprimieren komplexe Beobachtungen zu relevanten Merkmalen) (!Sie verhindern, dass ein Modell aus Daten lernt) (!Sie speichern ausschließlich Rohpixel ohne Verarbeitung) (!Sie ersetzen jede Form von Planung)

Was unterscheidet modellbasiertes Lernen von modellfreiem Lernen? (Modellbasiertes Lernen nutzt ein gelerntes Modell der Umgebungsdynamik) (!Modellbasiertes Lernen kommt ohne Daten aus) (!Modellfreies Lernen ist immer sicherer) (!Modellfreies Lernen verwendet immer eine Simulation)

Welche Rolle spielt ein Agent im bestärkenden Lernen? (Er wählt Aktionen und interagiert mit einer Umgebung) (!Er ist nur ein Speicher für Trainingsdaten) (!Er ist die Belohnungsfunktion selbst) (!Er ersetzt die gesamte Umwelt)

Was bedeutet Imagination in World-Model-Ansätzen? (Das Simulieren möglicher Zukunftsverläufe im gelernten Modell) (!Das zufällige Löschen aller Trainingsdaten) (!Das manuelle Beschriften jedes einzelnen Pixels) (!Das vollständige Kopieren der realen Welt)

Warum können hierarchische Modelle nützlich sein? (Sie trennen unterschiedliche Abstraktionsebenen und Zeithorizonte) (!Sie vermeiden jede Form von Vorhersage) (!Sie benötigen grundsätzlich keine Trainingsdaten) (!Sie bestehen immer nur aus einer einzigen Schicht)

Was ist eine Policy? (Eine Strategie, die Zustände auf Aktionen abbildet) (!Eine Liste aller Bildpunkte einer Kamera) (!Ein Fehlermaß für Datenkompression) (!Eine Hardwarekomponente eines Roboters)

Welche Aussage zu JEPA ist richtig? (JEPA sagt abstrakte Repräsentationen statt ausschließlich Rohdaten voraus) (!JEPA ist ein mechanischer Roboterarm) (!JEPA ist ein Verfahren ohne neuronale Netze) (!JEPA kann keine Vorhersagen machen)

Warum muss ein World Model nicht jede Einzelheit der Welt rekonstruieren? (Für Entscheidungen reichen oft aufgabenrelevante Vorhersagen) (!Weil Vorhersagen grundsätzlich verboten sind) (!Weil Agenten keine Zustände benötigen) (!Weil alle Umgebungen vollständig bekannt sind)

Was ist ein zentrales Risiko fehlerhafter World Models? (Der Agent kann auf Basis falscher Vorhersagen schlecht oder gefährlich planen) (!Der Agent lernt dadurch automatisch perfekte Sicherheit) (!Das Modell wird dadurch immer kleiner und besser) (!Belohnungen werden dadurch grundsätzlich überflüssig)

Memory

Weltmodell	Vorhersage der Umwelt
Latenter Zustand	Komprimierte Repräsentation
Agent	Handelndes System
Policy	Strategie für Aktionen
Reward	Lernsignal
Imagination	Gedanklicher Rollout
JEPA	Vorhersage im Merkmalsraum
Hierarchie	Abstraktionsebenen

Drag and Drop

Ordne die richtigen Begriffe zu.	Thema
Encoder	Wandelt Beobachtungen in Merkmale um
Latenter Zustand	Beschreibt die Situation komprimiert
Dynamikmodell	Sagt Zustandsübergänge voraus
Planer	Vergleicht mögliche Zukunftsverläufe
Controller	Wählt eine Handlung aus

Kreuzworträtsel

Latent	Wie nennt man eine nicht direkt beobachtbare, komprimierte Repräsentation?
Agent	Wer wählt Aktionen und interagiert mit einer Umgebung?
Planung	Wie heißt das gedankliche Vergleichen möglicher Handlungsfolgen?
Belohnung	Welches Signal bewertet eine Handlung im bestärkenden Lernen?
Hierarchie	Wie nennt man eine Ordnung mehrerer Abstraktionsebenen?
Abstraktion	Wie heißt das Weglassen unwichtiger Details zugunsten relevanter Merkmale?

LearningApps

Lückentext

Ein World Model ist ein internes Modell, das mögliche Entwicklungen einer

vorhersagt. Ein Agent nutzt Beobachtungen, um einen komprimierten

zu bilden. In einem latenten Raum werden komplexe Daten auf wichtige

reduziert. Durch Imagination kann ein Agent mögliche Zukunftsverläufe im Modell

. Eine hierarchische Architektur ordnet Wahrnehmung und Planung auf mehreren

. Modellbasiertes Lernen unterscheidet sich vom modellfreien Lernen durch ein gelerntes

. Bei JEPA werden häufig abstrakte Repräsentationen statt einzelner

vorhergesagt. Ein fehlerhaftes Weltmodell kann zu falscher

führen.

Offene Aufgaben

Leicht

Begriffsnetz: Erstelle eine Mindmap mit den Begriffen Agent, Umgebung, Zustand, Aktion, Belohnung, Policy, World Model und Planung.
Alltagsmodell: Beschreibe ein alltägliches Beispiel, bei dem Du selbst ein inneres Weltmodell nutzt, etwa Fahrradfahren, Kochen, Sport oder Navigation.
Bildanalyse: Erkläre anhand der Grafik zum bestärkenden Lernen, wie Agent und Umwelt miteinander verbunden sind.
Merksatz: Formuliere drei kurze Merksätze, die den Unterschied zwischen modellfreiem Lernen und modellbasiertem Lernen erklären.

Standard

Labyrinth-Projekt: Entwerfe ein einfaches Labyrinth und beschreibe, welche Informationen ein Agent speichern müsste, um den Weg zum Ziel zu planen.
Latenter Raum: Zeichne ein Beispiel, wie aus einem Kamerabild eine abstrakte Beschreibung entstehen könnte, etwa Objekte, Positionen und Hindernisse.
Vergleichsanalyse: Vergleiche World Models, PlaNet, Dreamer und MuZero in einer Tabelle mit den Spalten Ziel, Modellart, Planung und Beispielanwendung.
Videoanalyse: Schaue das eingebettete Video und notiere fünf Thesen, wie neuronale Netze durch World Models anders gedacht werden können.

Schwer

Architekturentwurf: Entwickle eine eigene hierarchische Architektur für einen Haushaltsroboter und beschreibe mindestens vier Ebenen von Wahrnehmung bis Zielplanung.
Kritische Bewertung: Diskutiere, warum ein Modell, das im Simulator gut funktioniert, in der realen Welt trotzdem scheitern kann.
Ethik-Fallstudie: Analysiere ein autonomes Fahrzeug als World-Model-System und beschreibe Sicherheitsanforderungen, Verantwortlichkeiten und Grenzen.
Forschungsfrage: Formuliere eine eigene Forschungsfrage zu hierarchischen World Models und skizziere, wie man sie experimentell untersuchen könnte.

Lernkontrolle

Transfer Robotik: Erkläre an einem selbst gewählten Roboterbeispiel, warum ein hierarchisches Weltmodell gegenüber einer direkten Eingabe-Ausgabe-Strategie Vorteile haben kann.
Fehleranalyse: Ein Agent plant im gelernten Modell eine sichere Handlung, verursacht in der realen Umgebung aber einen Fehler. Analysiere mindestens drei mögliche Ursachen.
Modellvergleich: Vergleiche ein Sprachmodell und ein handlungsorientiertes World Model. Arbeite heraus, welche zusätzlichen Anforderungen entstehen, wenn ein System reale Aktionen ausführen soll.
Abstraktion begründen: Begründe, warum ein World Model nicht alle Details einer Umgebung rekonstruieren muss, um nützliche Entscheidungen zu treffen.
Ethik und Sicherheit: Entwickle Prüfkriterien, mit denen ein autonomes System vor dem Einsatz in einer realen Umgebung getestet werden sollte.
Hierarchie anwenden: Übertrage die Idee verschiedener Abstraktionsebenen auf ein Lernspiel, eine Verkehrssteuerung oder ein medizinisches Assistenzsystem.
Zukunftsszenario: Entwirf ein realistisches Szenario, in dem World Models hilfreich sind, und grenze es von übertriebenen Versprechen ab.

Lernnachweis

Für einen Lernnachweis zu Hierarchische World Models / Neuronale Netze neu denken solltest Du zeigen, dass Du nicht nur Begriffe wiedergeben kannst, sondern Zusammenhänge verstehst und auf neue Situationen anwendest.

Fachbegriffe: Du verwendest zentrale Begriffe wie Agent, Zustand, Aktion, Policy, Latenter Raum, Dynamikmodell und Planung korrekt.
Konzeptverständnis: Du erklärst, warum World Models innere Repräsentationen der Umwelt lernen.
Vergleichskompetenz: Du unterscheidest modellfreies und modellbasiertes Lernen anhand konkreter Beispiele.
Architekturverständnis: Du beschreibst, wie Encoder, latenter Zustand, Dynamikmodell, Planer und Controller zusammenarbeiten.
Hierarchisches Denken: Du ordnest Wahrnehmung, Vorhersage und Planung mehreren Abstraktionsebenen zu.
Transferleistung: Du überträgst das Konzept auf eine neue Anwendung wie Robotik, autonomes Fahren, Spiel-KI oder Assistenzsysteme.
Kritische Reflexion: Du benennst Grenzen, Risiken und Sicherheitsanforderungen bei autonomen Systemen.
Medienkompetenz: Du kannst Videos, Grafiken und Forschungsbeispiele fachlich einordnen und kritisch auswerten.
Eigenes Produkt: Du erstellst eine Skizze, ein Modell, eine Präsentation, ein Erklärvideo oder einen Text, der die Grundidee verständlich vermittelt.

OERs zum Thema

Weitere offene und vertiefende Quellen:

Links

Hierarchische World Models

Zusammenfassung

Hierarchische World Models sind ein Ansatz, um neuronale Netze stärker als lernende, planende und vorhersagende Systeme zu verstehen. Statt nur Eingaben in Ausgaben zu verwandeln, lernen solche Modelle interne Repräsentationen der Umwelt. Diese Repräsentationen können für Vorhersage, Planung, Imagination und Handlungsauswahl genutzt werden. Besonders wichtig sind latente Räume, weil sie komplexe Daten auf relevante Merkmale reduzieren. Hierarchien helfen, unterschiedliche Abstraktionsebenen und Zeithorizonte zu verbinden. Dadurch können Agenten kurzfristige Dynamik, mittelfristige Handlungsfolgen und langfristige Ziele gemeinsam berücksichtigen.

Gleichzeitig bleiben große Herausforderungen: Weltmodelle sind Vereinfachungen, können fehlerhafte Vorhersagen erzeugen und müssen in sicherheitskritischen Bereichen sorgfältig geprüft werden. Gerade deshalb ist das Thema für Schule, Studium und Ausbildung wichtig: Es verbindet Informatik, Mathematik, Kognitionswissenschaft, Robotik, Ethik und Gesellschaft zu einer zentralen Zukunftsfrage der KI.

aiMOOC-Projekte

Schulfach+

Prüfungsliteratur 2026
Bundesland	Bücher	Kurzbeschreibung
Baden-Württemberg	Abitur Der zerbrochne Krug - Heinrich von Kleist Heimsuchung - Jenny Erpenbeck Mittlere Reife Der Markisenmann - Jan Weiler oder Als die Welt uns gehörte - Liz Kessler Ein Schatten wie ein Leopard - Myron Levoy oder Pampa Blues - Rolf Lappert	Abitur Dorfrichter-Komödie über Wahrheit/Schuld; Roman über einen Ort und deutsche Geschichte. Mittlere Reife Wahllektüren (Roadtrip-Vater-Sohn / Jugendroman im NS-Kontext / Coming-of-age / Provinzroman).
Bayern	Abitur Der zerbrochne Krug - Heinrich von Kleist Heimsuchung - Jenny Erpenbeck	Abitur Lustspiel über Machtmissbrauch und Recht; Roman als Zeitschnitt deutscher Geschichte an einem Haus/Grundstück.
Berlin/Brandenburg	Abitur Der zerbrochne Krug - Heinrich von Kleist Woyzeck - Georg Büchner Der Biberpelz - Gerhart Hauptmann Heimsuchung - Jenny Erpenbeck	Abitur Gerichtskomödie; soziales Drama um Ausbeutung/Armut; Komödie/Satire um Diebstahl und Obrigkeit; Roman über Erinnerungsräume und Umbrüche.
Bremen	Abitur Nach Mitternacht - Irmgard Keun Mario und der Zauberer - Thomas Mann Emilia Galotti - Gotthold Ephraim Lessing oder Miss Sara Sampson - Gotthold Ephraim Lessing	Abitur Roman in der NS-Zeit (Alltag, Anpassung, Angst); Novelle über Verführung/Massenpsychologie; bürgerliche Trauerspiele (Moral, Macht, Stand).
Hamburg	Abitur Der zerbrochne Krug - Heinrich von Kleist Das kunstseidene Mädchen - Irmgard Keun	Abitur Justiz-/Machtkritik als Komödie; Großstadtroman der Weimarer Zeit (Rollenbilder, Aufstiegsträume, soziale Realität).
Hessen	Abitur Der zerbrochne Krug - Heinrich von Kleist Woyzeck - Georg Büchner Heimsuchung - Jenny Erpenbeck Der Prozess - Franz Kafka	Abitur Gerichtskomödie; Fragmentdrama über Gewalt/Entmenschlichung; Erinnerungsroman über deutsche Brüche; moderner Roman über Schuld, Macht und Bürokratie.
Niedersachsen	Abitur Der zerbrochene Krug - Heinrich von Kleist Das kunstseidene Mädchen - Irmgard Keun Die Marquise von O. - Heinrich von Kleist Über das Marionettentheater - Heinrich von Kleist	Abitur Schwerpunkt auf Drama/Roman sowie Kleist-Prosatext und Essay (Ehre, Gewalt, Unschuld; Ästhetik/„Anmut“).
Nordrhein-Westfalen	Abitur Der zerbrochne Krug - Heinrich von Kleist Heimsuchung - Jenny Erpenbeck	Abitur Komödie über Wahrheit und Autorität; Roman als literarische „Geschichtsschichtung“ an einem Ort.
Saarland	Abitur Heimsuchung - Jenny Erpenbeck Furor - Lutz Hübner und Sarah Nemitz Bahnwärter Thiel - Gerhart Hauptmann	Abitur Erinnerungsroman an einem Ort; zeitgenössisches Drama über Eskalation/Populismus; naturalistische Novelle (Pflicht/Überforderung/Abgrund).
Sachsen (berufliches Gymnasium)	Abitur Der zerbrochne Krug - Heinrich von Kleist Woyzeck - Georg Büchner Irrungen, Wirrungen - Theodor Fontane Der gute Mensch von Sezuan - Bertolt Brecht Heimsuchung - Jenny Erpenbeck Der Trafikant - Robert Seethaler	Abitur Mischung aus Klassiker-Drama, sozialem Drama, realistischem Roman, epischem Theater und Gegenwarts-/Erinnerungsroman; zusätzlich Coming-of-age im historischen Kontext.
Sachsen-Anhalt	Abitur (keine fest benannte landesweite Pflichtlektüre veröffentlicht; Themenfelder)	Abitur Schwerpunktsetzung über Themenfelder (u. a. Literatur um 1900; Sprache in politisch-gesellschaftlichen Kontexten), ohne feste Einzeltitel.
Schleswig-Holstein	Abitur Der zerbrochne Krug - Heinrich von Kleist Heimsuchung - Jenny Erpenbeck	Abitur Recht/Gerechtigkeit und historische Tiefenschichten eines Ortes – umgesetzt über Drama und Gegenwartsroman.
Thüringen	Abitur (keine fest benannte landesweite Pflichtlektüre veröffentlicht; Orientierung am gemeinsamen Aufgabenpool)	Abitur In der Praxis häufig Orientierung am gemeinsamen Aufgabenpool; landesweite Einzeltitel je nach Vorgabe/Handreichung nicht einheitlich ausgewiesen.
Mecklenburg-Vorpommern	Abitur (Quelle aktuell technisch nicht abrufbar; Beteiligung am gemeinsamen Aufgabenpool bekannt)	Abitur Land beteiligt sich am länderübergreifenden Aufgabenpool; konkrete, veröffentlichte Einzeltitel konnten hier nicht ausgelesen werden.
Rheinland-Pfalz	Abitur (keine landesweit einheitliche Pflichtlektüre; schulische Auswahl)	Abitur Keine landesweite Einheitsliste; Auswahl kann schul-/kursbezogen erfolgen.