Glanz: aiMOOC über GPT aiMOOC Action erstellt

2026-07-06T16:30:03Z

aiMOOC über GPT aiMOOC Action erstellt

Neue Seite

{{T}}
{{BR}}
= Einleitung =

'''Multimodale Weltmodelle''' gehören zu den spannendsten Forschungsrichtungen der modernen [[Künstliche Intelligenz|Künstlichen Intelligenz]]. Sie verbinden [[Wahrnehmung]], [[Sprache]], [[Bildverarbeitung]], [[Video]], [[Sensorik]], [[Robotik]] und [[Handlung]] zu Modellen, die nicht nur Daten erkennen, sondern mögliche Entwicklungen einer [[Umgebung]] vorhersagen können. In diesem aiMOOC lernst Du, warum [[Neuronales Netz|neuronale Netze]] heute nicht mehr nur als Klassifikatoren verstanden werden, sondern zunehmend als Bausteine für lernende Systeme, die beobachten, planen, handeln und aus Rückmeldungen lernen.

{{#ev:youtube|https://www.youtube.com/watch?v=UX_bibnohY8|500|center}}

Das Video dient als Einstieg in die Frage, wie [[Multimodale künstliche Intelligenz|multimodale KI]] von der Wahrnehmung zur robotischen Handlung gelangen kann. Im Zentrum steht die Idee: Ein System soll nicht nur einzelne Signale auswerten, sondern aus verschiedenen Modalitäten ein inneres [[Weltmodell]] bilden. Dieses Weltmodell kann helfen, Folgen von Handlungen abzuschätzen, bevor ein [[Roboter]] oder ein autonomes System tatsächlich handelt.

[[Datei:Artificial neural network.svg|500px|rahmenlos|center]]

{{BR}}
= Lernziele =

Nach diesem aiMOOC kannst Du erklären, was ein [[Weltmodell]] in der [[Künstliche Intelligenz|KI]] bedeutet, warum multimodale Daten für moderne [[Robotik]] wichtig sind und wie [[Künstliches neuronales Netz|künstliche neuronale Netze]] für Vorhersage, Planung und Handlung genutzt werden können. Außerdem reflektierst Du Chancen, Grenzen und Risiken solcher Systeme.

# [[Grundlagen]]: Du beschreibst den Unterschied zwischen klassischer Mustererkennung und vorhersagenden Weltmodellen.
# [[Multimodalität]]: Du erklärst, warum Text, Bild, Ton, Video, Sensordaten und Aktionen gemeinsam ausgewertet werden.
# [[Robotik]]: Du analysierst, wie Wahrnehmung in Handlung übersetzt werden kann.
# [[KI-Sicherheit]]: Du beurteilst Risiken wie Fehlwahrnehmung, Verzerrung, mangelnde Robustheit und unklare Verantwortung.
# [[Transfer]]: Du entwickelst eigene Anwendungsideen für Schule, Ausbildung, Studium oder Forschung.

{{BR}}
= Grundlagen: Was ist ein Weltmodell? =

Ein '''Weltmodell''' ist in der [[Künstliche Intelligenz|KI]] eine interne Darstellung einer Umgebung. Es speichert nicht einfach nur Rohdaten, sondern bildet relevante Strukturen ab: Objekte, Positionen, zeitliche Veränderungen, Handlungsmöglichkeiten und erwartbare Folgen. Ein gutes Weltmodell beantwortet nicht nur die Frage „Was sehe ich?“, sondern auch „Was könnte als Nächstes passieren?“ und „Welche Handlung wäre sinnvoll?“.

Bei einem [[Roboter]] kann ein Weltmodell zum Beispiel Kameraaufnahmen, Tiefensensoren, Kraftmessungen und Sprachbefehle verbinden. Aus diesen Daten entsteht eine verdichtete [[Repräsentation]], etwa eine Karte des Raums, eine Schätzung der Objektlage oder eine Vorhersage, wie sich ein Gegenstand bewegt, wenn er geschoben wird. Der entscheidende Punkt ist die '''Vorhersage''': Ein Weltmodell soll zukünftige Zustände simulieren oder zumindest abschätzen.

Im Unterschied zu einfachen [[Klassifikation|Klassifikationssystemen]] genügt es nicht, ein Bild als „Tasse“, „Tisch“ oder „Hand“ zu erkennen. Ein handlungsfähiges System muss verstehen, ob die Tasse erreichbar ist, ob sie kippen könnte, ob der Greifer groß genug ist und welche Bewegung wahrscheinlich erfolgreich ist. Ein Weltmodell verbindet also [[Wahrnehmung]], [[Gedächtnis]], [[Vorhersage]], [[Planung]] und [[Handlung]].

{{BR}}
= Multimodalität: Mehr als Text und Bild =

'''Multimodalität''' bedeutet, dass ein System mehrere Arten von Informationen verarbeitet. Menschen nutzen beim Handeln selten nur einen Sinn: Wir sehen einen Gegenstand, hören Geräusche, spüren Widerstand, erinnern uns an frühere Erfahrungen und verstehen sprachliche Anweisungen. Ähnlich sollen [[Multimodale künstliche Intelligenz|multimodale KI-Systeme]] Informationen aus verschiedenen Quellen zusammenführen.

# [[Text]]: Sprachliche Anweisungen wie „Lege den roten Block in die Schachtel“ geben Ziele und Kontext vor.
# [[Bild]]: Kameradaten zeigen Objekte, Farben, Formen, Positionen und Beziehungen im Raum.
# [[Video]]: Bewegte Bilder enthalten zeitliche Dynamik, etwa Greifen, Fallen, Rollen oder Kollisionen.
# [[Audio]]: Geräusche können auf Ereignisse hinweisen, zum Beispiel ein herunterfallender Gegenstand.
# [[Sensorik]]: Kraftsensoren, Tiefenkameras, Lidar, Tastsensoren oder Gelenkwinkel liefern Messwerte.
# [[Aktion]]: Motorbefehle und Bewegungen werden Teil des Lernprozesses, weil das System ihre Folgen beobachten kann.

[[Datei:ROBOT II camera.jpg|500px|rahmenlos|center]]

Wenn diese Modalitäten zusammengeführt werden, spricht man oft auch von [[Sensorfusion]]. Dabei ist nicht nur die Menge der Daten wichtig, sondern ihre sinnvolle Abstimmung. Ein Bild kann zeigen, dass ein Objekt vorhanden ist; ein Tiefensensor kann die Entfernung bestimmen; ein Sprachbefehl kann das Ziel klären; ein Kraftsensor kann melden, ob ein Griff stabil ist. Erst die Verbindung macht robuste Handlung möglich.

{{BR}}
= Neuronale Netze neu denken =

[[Künstliches neuronales Netz|Künstliche neuronale Netze]] wurden lange vor allem als Systeme zur Mustererkennung betrachtet: Sie erkennen Gesichter, übersetzen Texte, klassifizieren Bilder oder erzeugen Sprache. Moderne Ansätze gehen darüber hinaus. Ein neuronales Netz kann auch als Teil eines lernenden Agenten eingesetzt werden, der aus Beobachtungen eine innere Repräsentation bildet, Handlungsfolgen vorhersagt und Entscheidungen vorbereitet.

[[Datei:Artificial neuron.svg|500px|rahmenlos|center]]

Das bedeutet nicht, dass ein neuronales Netz „versteht“ wie ein Mensch. Es bedeutet, dass es statistische Strukturen in Daten nutzt, um Aufgaben zu lösen. Bei Weltmodellen geht es besonders um drei Fähigkeiten:

# [[Repräsentationslernen]]: Das System bildet aus Rohdaten eine kompakte Darstellung, die wichtige Informationen enthält.
# [[Prädiktion]]: Das System sagt voraus, wie sich ein Zustand unter bestimmten Bedingungen verändern könnte.
# [[Planung]]: Das System wählt eine Handlung, die mit hoher Wahrscheinlichkeit zu einem Ziel führt.

Diese Sichtweise verändert die Rolle neuronaler Netze. Sie sind nicht nur Antwortmaschinen, sondern können als Bausteine für [[Agent|Agenten]] dienen. Ein Agent ist ein System, das seine Umgebung wahrnimmt, Entscheidungen trifft und Handlungen ausführt. In der [[Robotik]] wird daraus eine besonders anspruchsvolle Aufgabe, weil Fehler physische Folgen haben können.

{{BR}}
= Transformer, Aufmerksamkeit und gemeinsame Repräsentationen =

Viele moderne KI-Systeme nutzen [[Transformer (Maschinelles Lernen)|Transformer-Architekturen]]. Ein zentrales Prinzip ist der [[Aufmerksamkeitsmechanismus]], häufig auch [[Attention]] genannt. Er hilft dem Modell, relevante Beziehungen zwischen Elementen einer Eingabe zu gewichten. Bei Text können das Wörter und Sätze sein; bei Bildern Bildausschnitte; bei Videos zeitliche Abschnitte; bei Robotikdaten Sensormessungen und Aktionen.

[[Datei:Transformer, full architecture.png|500px|rahmenlos|center]]

Für multimodale Weltmodelle ist entscheidend, dass verschiedene Eingaben in gemeinsame [[Embedding|Einbettungen]] überführt werden können. Ein Embedding ist eine numerische Repräsentation, in der ähnliche Bedeutungen oder Zustände näher beieinanderliegen. So kann ein System lernen, dass der gesprochene Befehl „Greife die Tasse“, ein Bild einer Tasse und eine passende Greifbewegung zusammengehören.

Der Vorteil solcher gemeinsamen Repräsentationen liegt in der Übertragbarkeit. Ein Modell, das viele Bilder, Texte und Handlungsbeispiele gesehen hat, kann unter Umständen neue Kombinationen besser einordnen als ein eng trainiertes Spezialmodell. Gleichzeitig entstehen Risiken: Wenn die Trainingsdaten unausgewogen, fehlerhaft oder nicht zur realen Einsatzumgebung passend sind, kann das Modell falsche Schlüsse ziehen.

{{BR}}
= Von der Wahrnehmung zur robotischen Handlung =

Der Weg von der Wahrnehmung zur Handlung lässt sich als Lernschleife verstehen. Ein System beobachtet seine Umgebung, bildet eine Repräsentation, sagt mögliche Entwicklungen voraus, plant eine Handlung, führt diese aus und bewertet das Ergebnis. Diese Schleife ähnelt Konzepten aus dem [[Bestärkendes Lernen|Reinforcement Learning]], bei dem ein Agent durch Rückmeldungen aus der Umgebung lernt.

[[Datei:Reinforcement learning diagram.svg|500px|rahmenlos|center]]

In einem einfachen Beispiel soll ein Roboter einen roten Würfel auf einen blauen Teller legen. Dafür muss er mehrere Teilprobleme lösen: Er muss den Würfel erkennen, seine Position bestimmen, den Teller identifizieren, eine Greifbewegung planen, Hindernisse vermeiden, den Greifer steuern und prüfen, ob die Aufgabe gelungen ist. Ein multimodales Weltmodell kann helfen, diese Schritte nicht isoliert, sondern zusammenhängend zu bearbeiten.

'''Typische Prozesskette:'''

# [[Beobachtung]]: Kameras, Sensoren und Spracheingaben liefern Informationen über die Szene.
# [[Repräsentation]]: Das System bildet eine interne Darstellung von Objekten, Zielen und möglichen Aktionen.
# [[Vorhersage]]: Das Weltmodell schätzt, welche Folgen bestimmte Bewegungen haben könnten.
# [[Planung]]: Ein Handlungsplan wird ausgewählt, der das Ziel wahrscheinlich erreicht.
# [[Ausführung]]: Der Roboter bewegt Motoren, Greifer oder Werkzeuge.
# [[Feedback]]: Sensoren prüfen, ob die Handlung erfolgreich war, und liefern Lernsignale.

Diese Prozesskette zeigt, warum reine Bilderkennung nicht genügt. Für robotische Handlung braucht ein System ein Zusammenspiel aus [[Computer Vision]], [[Sprachverarbeitung]], [[Kontrolltheorie]], [[Sensorik]], [[Planung]] und [[Sicherheit]].

{{BR}}
= Forschungsbeispiele und aktuelle Entwicklungsrichtungen =

In der Forschung werden verschiedene Ansätze untersucht, um Wahrnehmung, Sprache und Handlung enger zu verbinden. [[Vision-Language-Action-Modell|Vision-Language-Action-Modelle]] verknüpfen visuelle Wahrnehmung, sprachliche Ziele und robotische Steuerbefehle. Solche Modelle sollen nicht nur Objekte benennen, sondern aus Bildern und Anweisungen konkrete Handlungen ableiten.

[[Datei:Robot-arm-lg.jpg|500px|rahmenlos|center]]

Ein wichtiges Forschungsthema ist die Frage, wie viel Vorwissen aus großen Datenbeständen auf reale Roboter übertragen werden kann. Modelle, die mit Bildern und Texten aus dem Web vortrainiert wurden, verfügen über breites semantisches Wissen. Für reale Robotik reicht das jedoch nicht aus: Ein Roboter muss zusätzlich lernen, wie sich Motorbefehle auf Gegenstände, Werkzeuge und Räume auswirken. Darum werden Webdaten, Simulationsdaten und reale Roboterdaten kombiniert.

Weitere Entwicklungsrichtungen sind [[selbstüberwachtes Lernen]], [[Video-Vorhersage]], [[Latenter Raum|latente Zustandsräume]], [[Sim-to-Real-Transfer]], [[Imitation Learning]], [[Foundation Models]] und robotische Datensätze. Ziel ist nicht, ein einziges perfektes Modell zu bauen, sondern Systeme zu entwickeln, die zuverlässiger, überprüfbarer und anpassungsfähiger werden.

{{BR}}
= Beispiel: Eine Tasse greifen =

Stell Dir vor, ein Haushaltsroboter erhält den Befehl: „Bring mir bitte die Tasse vom Tisch.“ Für einen Menschen klingt das einfach. Für ein KI-System ist es eine komplexe multimodale Aufgabe.

Zuerst muss das System den sprachlichen Auftrag verstehen. Dann muss es in der visuellen Szene erkennen, was eine Tasse ist und wo sie steht. Anschließend muss es abschätzen, ob die Tasse leer, voll, zerbrechlich, heiß oder verdeckt ist. Es muss den Weg planen, eine geeignete Greifposition wählen und die Bewegung kontrollieren. Während der Handlung muss es fortlaufend prüfen, ob die Tasse verrutscht, ob ein Hindernis auftaucht oder ob der Griff korrigiert werden muss.

Ein '''multimodales Weltmodell''' kann dabei drei Funktionen übernehmen: Es verbindet sprachliche Bedeutung mit visueller Szene, es sagt Handlungsfolgen voraus und es unterstützt die Auswahl sicherer Bewegungen. Gleichzeitig zeigt das Beispiel die Grenzen: Ein Modell kann sich irren, wenn Lichtverhältnisse schlecht sind, die Tasse ungewöhnlich aussieht oder Trainingsdaten solche Situationen nicht abgedeckt haben.

{{BR}}
= Chancen =

Multimodale Weltmodelle können neue Möglichkeiten für [[Bildung]], [[Medizin]], [[Industrie]], [[Barrierefreiheit]], [[Verkehr]], [[Umwelttechnik]] und [[Robotik]] eröffnen. Sie könnten Assistenzsysteme befähigen, Situationen besser zu verstehen, Roboter flexibler zu steuern oder Lernumgebungen interaktiver zu gestalten.

# [[Lernen]]: KI-Systeme könnten Experimente simulieren, Hypothesen prüfen und Lernende beim Erkunden komplexer Zusammenhänge unterstützen.
# [[Robotik]]: Roboter könnten besser mit wechselnden Umgebungen umgehen, statt nur fest programmierte Abläufe auszuführen.
# [[Sicherheit]]: Vorhersagemodelle könnten gefährliche Handlungen vorab simulieren und vermeiden helfen.
# [[Inklusion]]: Multimodale Assistenzsysteme könnten Text, Sprache, Bild und Handlung verbinden, um Menschen im Alltag zu unterstützen.
# [[Forschung]]: Weltmodelle können als Denkwerkzeug dienen, um Lernen, Planung und Wahrnehmung besser zu untersuchen.

{{BR}}
= Grenzen und Risiken =

Trotz großer Fortschritte sind multimodale Weltmodelle keine allgemeine Lösung für alle Probleme. Sie können Muster lernen, ohne echte Ursachen sicher zu verstehen. Sie können in Simulationen gut funktionieren und in der realen Welt scheitern. Sie können Fehler machen, die schwer vorhersehbar sind, weil viele interne Repräsentationen für Menschen nicht direkt interpretierbar sind.

# [[Halluzination]]: Ein Modell kann plausible, aber falsche Zustände oder Zusammenhänge annehmen.
# [[Bias]]: Trainingsdaten können gesellschaftliche Verzerrungen enthalten und reproduzieren.
# [[Robustheit]]: Kleine Veränderungen in Licht, Perspektive, Material oder Umgebung können zu Fehlern führen.
# [[Sim-to-Real-Problem]]: Was in der Simulation gelingt, funktioniert nicht automatisch in der physischen Welt.
# [[Verantwortung]]: Bei autonomen Handlungen muss klar sein, wer für Fehlentscheidungen verantwortlich ist.
# [[Datenschutz]]: Multimodale Systeme können sensible Daten wie Stimmen, Gesichter, Räume und Bewegungen verarbeiten.

Für den verantwortungsvollen Einsatz braucht es daher [[Evaluation]], [[Transparenz]], [[Datenschutz]], [[AI-Alignment]], menschliche Aufsicht und klare Einsatzgrenzen. Besonders in der Robotik gilt: Ein System, das physisch handelt, muss strenger geprüft werden als ein System, das nur Text erzeugt.

{{BR}}
= Didaktisches Modell: Beobachten, Vorhersagen, Handeln =

Für den Unterricht kannst Du multimodale Weltmodelle mit einer einfachen Denkfigur verstehen:

# [[Beobachten]]: Welche Daten nimmt das System wahr?
# [[Verknüpfen]]: Welche Informationen gehören zusammen?
# [[Vorhersagen]]: Was könnte passieren, wenn eine Handlung ausgeführt wird?
# [[Entscheiden]]: Welche Handlung passt zum Ziel und ist sicher?
# [[Überprüfen]]: Woran erkennt das System Erfolg oder Fehler?

Diese fünf Schritte eignen sich, um reale KI-Systeme kritisch zu analysieren. Du kannst zum Beispiel ein autonomes Fahrzeug, einen Lieferroboter, eine KI-gestützte Kamera oder einen Chatbot mit Bildanalyse untersuchen. Entscheidend ist immer die Frage, welche Weltannahmen das System bildet und wie zuverlässig diese Annahmen sind.

{{BR}}
= Glossar =

{| class="wikitable"
! Begriff
! Erklärung
|-
| [[Multimodalität]]
| Verarbeitung mehrerer Informationsarten wie Text, Bild, Audio, Video, Sensorik und Handlung.
|-
| [[Weltmodell]]
| Interne Repräsentation einer Umgebung, die Zustände und mögliche Veränderungen vorhersagen kann.
|-
| [[Künstliches neuronales Netz]]
| Lernendes Modell aus verbundenen Recheneinheiten, das Muster und Zusammenhänge in Daten erfassen kann.
|-
| [[Embedding]]
| Numerische Darstellung von Informationen in einem Vektorraum, in dem Ähnlichkeiten abgebildet werden.
|-
| [[Sensorfusion]]
| Zusammenführung verschiedener Sensordaten zu einer stabileren Einschätzung der Situation.
|-
| [[Bestärkendes Lernen|Reinforcement Learning]]
| Lernverfahren, bei dem ein Agent durch Rückmeldungen aus einer Umgebung sein Verhalten verbessert.
|-
| [[Sim-to-Real-Transfer]]
| Übertragung eines in Simulationen gelernten Verhaltens auf reale physische Systeme.
|-
| [[AI-Alignment]]
| Ausrichtung von KI-Systemen an menschlichen Zielen, Werten, Sicherheitsanforderungen und Regeln.
|}

{{BR}}
= Interaktive Aufgaben =

{{BR}}
== Quiz: Teste Dein Wissen ==

{{MC}}

'''Was ist ein Weltmodell in der Künstlichen Intelligenz?'''
(Eine interne Darstellung, die Zustände und mögliche Veränderungen einer Umgebung vorhersagen kann)
(!Eine Liste aller installierten Programme auf einem Computer)
(!Ein ausschließlich menschliches Gedächtnismodell)
(!Ein Bildbearbeitungsfilter für Roboterkameras)

{{E}}
<br>

{{MC}}

'''Was bedeutet multimodal in der KI?'''
(Die Verarbeitung mehrerer Informationsarten wie Text, Bild, Ton, Video oder Sensorik)
(!Die Nutzung von nur einer einzigen Datenquelle)
(!Das Abschalten aller Sensoren während des Lernens)
(!Die zufällige Auswahl einer Programmiersprache)

{{E}}
<br>

{{MC}}

'''Warum reicht reine Bilderkennung für robotische Handlung oft nicht aus?'''
(Weil ein Roboter auch Ziele, Bewegungsfolgen, Sicherheit und Rückmeldungen berücksichtigen muss)
(!Weil Bilderkennung grundsätzlich keine Objekte erkennen kann)
(!Weil Roboter ohne Strom besser handeln)
(!Weil Spracheingaben immer unwichtig sind)

{{E}}
<br>

{{MC}}

'''Welche Rolle spielt Vorhersage in einem Weltmodell?'''
(Sie hilft einzuschätzen, wie sich eine Umgebung durch Handlungen verändern könnte)
(!Sie ersetzt alle Sensoren dauerhaft)
(!Sie verhindert jede Art von Fehler automatisch)
(!Sie ist nur für Wetterberichte geeignet)

{{E}}
<br>

{{MC}}

'''Was beschreibt Sensorfusion?'''
(Die Zusammenführung verschiedener Sensordaten zu einer besseren Situationsschätzung)
(!Das Löschen aller Messwerte nach jeder Bewegung)
(!Die Verwendung eines Sensors ohne Datenabgleich)
(!Das Ersetzen von Robotern durch Tastaturen)

{{E}}
<br>

{{MC}}

'''Was ist ein Embedding?'''
(Eine numerische Darstellung von Informationen in einem gemeinsamen Bedeutungsraum)
(!Ein mechanisches Gelenk eines Roboterarms)
(!Ein Akku für autonome Fahrzeuge)
(!Ein Zufallsgenerator ohne Lernfunktion)

{{E}}
<br>

{{MC}}

'''Welche Aufgabe hat ein Agent in der KI?'''
(Er nimmt eine Umgebung wahr, entscheidet und führt Handlungen aus)
(!Er speichert nur Bilder ohne Auswertung)
(!Er ist immer ein Mensch mit Tastatur)
(!Er verhindert jede Form von Lernen)

{{E}}
<br>

{{MC}}

'''Was ist ein zentrales Problem beim Sim-to-Real-Transfer?'''
(Ein Verhalten aus der Simulation funktioniert nicht automatisch in der realen Welt)
(!Simulationen enthalten immer perfekte Realität)
(!Reale Roboter brauchen keine Sensoren)
(!Trainingsdaten sind immer vollständig)

{{E}}
<br>

{{MC}}

'''Warum ist AI-Alignment bei handlungsfähigen Systemen wichtig?'''
(Weil autonome Handlungen mit menschlichen Zielen, Regeln und Sicherheit vereinbar sein müssen)
(!Weil Roboter dadurch keine Energie mehr benötigen)
(!Weil Modelle ohne Prüfung immer korrekt handeln)
(!Weil Sprache dadurch überflüssig wird)

{{E}}
<br>

{{MC}}

'''Welche Aussage zu multimodalen Weltmodellen ist am treffendsten?'''
(Sie verbinden Wahrnehmung, Repräsentation, Vorhersage, Planung und Handlung)
(!Sie bestehen ausschließlich aus Tabellenkalkulationen)
(!Sie erkennen nur einzelne Buchstaben)
(!Sie machen menschliche Verantwortung überflüssig)

{{E}}
<br>

{{BR}}
== Memory ==

<div class="memo-quiz">
{|
|-
| Weltmodell || Vorhersage von Zuständen
|-
| Sensorfusion || Verbindung mehrerer Messquellen
|-
| Embedding || Numerische Bedeutungsdarstellung
|-
| Transformer || Aufmerksamkeit zwischen Eingabeelementen
|-
| Robotik || Handeln in der physischen Welt
|-
| Reinforcement Learning || Lernen durch Rückmeldung
|-
| Sim-to-Real || Transfer von Simulation zu Realität
|-
| Alignment || Ausrichtung an menschlichen Zielen
|}
{{E}}
<br>

{{BR}}
== Drag and Drop ==

<div class="lueckentext-quiz">

{| class="wikitable"
! Ordne die richtigen Begriffe zu.
! Thema
|-
| '''Beobachtung'''
| Sensordaten aus der Umgebung aufnehmen
|-
| '''Repräsentation'''
| Informationen in ein internes Modell überführen
|-
| '''Vorhersage'''
| Mögliche zukünftige Zustände abschätzen
|-
| '''Planung'''
| Geeignete Handlungsfolge auswählen
|-
| '''Feedback'''
| Ergebnis prüfen und Lernen ermöglichen

|}
{{E}}

<br>
<br />

{{BR}}
== Kreuzworträtsel ==

<div class="kreuzwort-quiz">
{|
|-
| Weltmodell || Wie heißt eine interne KI-Darstellung, die zukünftige Zustände einer Umgebung abschätzen kann?
|-
| Sensorfusion || Wie nennt man die Zusammenführung verschiedener Messquellen?
|-
| Transformer || Welche Architektur nutzt häufig Aufmerksamkeit als zentrales Prinzip?
|-
| Robotik || In welchem Feld werden Wahrnehmung, Motorik und physisches Handeln verbunden?
|-
| Planung || Wie heißt die Auswahl geeigneter Schritte zum Erreichen eines Ziels?
|-
| Embedding || Wie heißt eine numerische Bedeutungsdarstellung in einem Vektorraum?
|}
{{E}}
<br>

{{BR}}
== LearningApps ==

<iframe> https://learningapps.org/index.php?s=Multimodale+Weltmodelle+Neuronale+Netze+Robotik </iframe>

{{BR}}
== Lückentext ==

<quiz display=simple>
{'''Vervollständige den Text.'''<br>
|type="{}"}
Multimodale Weltmodelle verbinden Wahrnehmungsdaten wie Text, Bild, Ton und Sensorwerte zu einer gemeinsamen { Repräsentation }. Ein neuronales Netz lernt dabei nicht nur Klassifikation, sondern kann zukünftige { Zustände } einer Umgebung vorhersagen. In der Robotik muss ein Modell Beobachtungen mit möglichen { Handlungen } verbinden. Reinforcement Learning beschreibt Lernen durch Rückmeldung aus einer { Umgebung }. Ein wichtiges Risiko ist der Übergang vom simulierten Modell in die reale { Welt }. Verantwortungsvolle KI braucht Evaluation, Sicherheitsregeln und menschliche { Verantwortung }.
</quiz>

<br>

{{BR}}
= Offene Aufgaben =

{{BR}}
=== Leicht ===
# [[Begriffslandkarte]]: Erstelle eine Mindmap zu den Begriffen Weltmodell, Multimodalität, Sensorfusion, Vorhersage und Handlung. Ergänze zu jedem Begriff ein eigenes Beispiel.
# [[Alltagsbeobachtung]]: Beobachte eine einfache Handlung wie das Greifen einer Flasche. Beschreibe, welche Sinnesinformationen ein Mensch dabei nutzt.
# [[Bildanalyse]]: Wähle ein Foto mit mehreren Objekten und markiere, welche Informationen ein Roboter daraus gewinnen müsste, um ein Objekt sicher zu greifen.
# [[Mini-Glossar]]: Schreibe zehn zentrale Fachbegriffe des aiMOOCs in eigenen Worten auf und ergänze jeweils einen Satz, warum der Begriff wichtig ist.

{{BR}}
=== Standard ===
# [[Prozessmodell]]: Entwickle ein Ablaufdiagramm für einen Roboter, der einen Gegenstand sortieren soll. Nutze die Schritte Beobachtung, Repräsentation, Vorhersage, Planung, Ausführung und Feedback.
# [[Fehleranalyse]]: Beschreibe drei Situationen, in denen ein multimodales System falsche Schlüsse ziehen könnte. Erkläre jeweils, welche Daten fehlen oder falsch interpretiert werden.
# [[Vergleich]]: Vergleiche ein reines Bilderkennungssystem mit einem multimodalen Weltmodell. Arbeite heraus, welche Aufgaben beide Systeme gut und weniger gut lösen können.
# [[Interview]]: Befrage eine Person aus Informatik, Technik, Pflege, Industrie oder Bildung dazu, wo handlungsfähige KI nützlich oder problematisch sein könnte.

{{BR}}
=== Schwer ===
# [[Forschungsentwurf]]: Entwirf ein kleines Forschungsprojekt zur Frage, wie ein Roboter aus Video und Sprache eine Handlung lernen könnte. Beschreibe Daten, Modellidee, Evaluation und Risiken.
# [[Ethikgutachten]]: Verfasse ein Gutachten zu einem Haushaltsroboter mit multimodalem Weltmodell. Bewerte Datenschutz, Sicherheit, Verantwortung, Fehlerrisiken und gesellschaftliche Folgen.
# [[Simulation]]: Entwickle ein Konzept für eine Lernsimulation, in der ein Agent durch Versuch und Irrtum eine Aufgabe löst. Erkläre, was vom Modell vorhergesagt werden muss.
# [[Kritische Präsentation]]: Erstelle eine Präsentation mit der Leitfrage, ob Weltmodelle ein notwendiger Schritt zu robusterer KI sind. Beziehe technische Argumente und Gegenargumente ein.

{{:Offene Aufgabe - MOOC erstellen}}

{{BR}}
= Lernkontrolle =

# [[Transferaufgabe Robotik]]: Erkläre an einem selbst gewählten Roboterbeispiel, warum Wahrnehmung allein nicht ausreicht und welche Rolle Vorhersage und Planung spielen.
# [[Fallanalyse Sicherheit]]: Analysiere eine Situation, in der ein autonomes System eine falsche Handlung ausführt. Zeige, welche Teile des Weltmodells fehlerhaft gewesen sein könnten.
# [[Vergleichende Bewertung]]: Vergleiche ein monomodales und ein multimodales KI-System im Hinblick auf Robustheit, Datenbedarf, Interpretierbarkeit und Risiko.
# [[Modellentwurf]]: Entwirf ein vereinfachtes Weltmodell für eine Schulsituation, etwa einen Aufräumroboter im Klassenzimmer. Beschreibe Zustände, Aktionen, Ziele und Feedback.
# [[Argumentation]]: Beurteile, ob große Datenmengen allein ausreichen, um sichere robotische Handlung zu ermöglichen. Begründe mit Beispielen aus Wahrnehmung, Sensorik und Realität.
# [[Reflexion Verantwortung]]: Entwickle Regeln, die vor dem Einsatz eines handlungsfähigen KI-Systems in Schule, Betrieb oder öffentlichem Raum geprüft werden sollten.

<br>
<br>
{{BR}}
= Lernnachweis =

Für einen Lernnachweis zu diesem Thema ist wichtig, dass Du nicht nur Begriffe wiedergeben kannst, sondern Zusammenhänge erklärst und kritisch bewertest.

# [[Fachverständnis]]: Du erklärst Weltmodell, Multimodalität, Embedding, Sensorfusion, Reinforcement Learning und Sim-to-Real-Transfer korrekt.
# [[Systemdenken]]: Du beschreibst die gesamte Kette von Wahrnehmung über Repräsentation und Vorhersage bis zur Handlung.
# [[Anwendungsbezug]]: Du überträgst die Konzepte auf ein konkretes Beispiel aus Robotik, Assistenzsystemen, Bildung oder Industrie.
# [[Kritische Bewertung]]: Du benennst Chancen, Grenzen und Risiken multimodaler Weltmodelle.
# [[Gestaltungsleistung]]: Du erstellst ein eigenes Modell, Diagramm, Experimentkonzept, Video, Interview oder eine Präsentation.
# [[Reflexion]]: Du begründest, welche Sicherheits- und Verantwortungsfragen bei handlungsfähiger KI besonders wichtig sind.

<br>
<br>
{{BR}}
= OERs zum Thema =

<iframe> https://de.m.wikipedia.org/wiki/Multimodale_k%C3%BCnstliche_Intelligenz </iframe>

<iframe> https://de.m.wikipedia.org/wiki/K%C3%BCnstliches_neuronales_Netz </iframe>

<iframe> https://de.m.wikipedia.org/wiki/Deep_Learning </iframe>

<iframe> https://de.m.wikipedia.org/wiki/Transformer_%28Maschinelles_Lernen%29 </iframe>

<iframe> https://de.m.wikipedia.org/wiki/Robotik </iframe>

<iframe> https://en.m.wikipedia.org/wiki/World_model_%28artificial_intelligence%29 </iframe>

<br>

{{BR}}
= Links =

{| align=center
{{:D-Tab}}
'''[[Multimodale Weltmodelle]]'''
# [[Künstliche Intelligenz]]
# [[Multimodale künstliche Intelligenz]]
# [[Künstliches neuronales Netz]]
# [[Deep Learning]]
# [[Transformer (Maschinelles Lernen)]]
# [[Bestärkendes Lernen|Reinforcement Learning]]
# [[Robotik]]
# [[Computer Vision]]
# [[Sensorfusion]]
# [[AI-Alignment]]
# [[Foundation Models]]
# [[Autonomer Roboter]]
|}

[[Kategorie:Informatik]]
[[Kategorie:Künstliche Intelligenz]]
[[Kategorie:Maschinelles Lernen]]
[[Kategorie:Robotik]]
[[Kategorie:Medienbildung]]
[[Kategorie:Sekundarstufe II]]
[[Kategorie:Berufliche Bildung]]
[[Kategorie:Hochschule]]
{{BR}}
= aiMOOC-Projekte =
[[Kategorie:AI_MOOC]] [[Kategorie:GPT aiMOOC]]
{{MT}}

Multimodale Weltmodelle und neuronale Netze neu denken - Versionsgeschichte

Glanz: aiMOOC über GPT aiMOOC Action erstellt