Glanz: aiMOOC über GPT aiMOOC Action erstellt

2026-07-06T16:30:08Z

aiMOOC über GPT aiMOOC Action erstellt

Neue Seite

{{T}}
{{BR}}
= Einleitung =

'''State-Space-Modelle-Einblicke: Zustandsraummodelle / Neuronale Netze neu denken''' ist ein aiMOOC über eine wichtige Entwicklung im [[Maschinelles Lernen|maschinellen Lernen]]: Moderne [[State-Space-Modelle|State-Space-Modelle]] verbinden Ideen aus der [[Regelungstechnik]], [[Signalverarbeitung]], [[Mathematik]] und [[Deep Learning]]. Sie helfen Dir zu verstehen, wie [[Neuronales Netz|neuronale Netze]] Sequenzen verarbeiten können, ohne sich ausschließlich auf [[Attention|Attention-Mechanismen]] zu stützen.

{{#ev:youtube|https://www.youtube.com/watch?v=iKz8LzWJVFQ|500|center}}

Das Video behandelt '''State-Space-Modelle-Einblicke: Zustandsraummodelle / Neuronale Netze neu denken''' als Teil einer Perspektive auf Zukunftsthemen jenseits des Mainstreams. Im Zentrum stehen [[Structured State Space Model|Structured State Space Models]], [[S4]], [[Mamba]], [[Mamba-2]] und die Frage, wie [[Neuronale Netze|neuronale Netze]] für lange [[Sequenz|Sequenzen]] effizienter, speicherschonender und theoretisch klarer gestaltet werden können.

{{BR}}
= Lernziele =

Nach diesem aiMOOC kannst Du erklären, was ein [[Zustandsraum|Zustandsraum]] ist, wie klassische [[Zustandsraumdarstellung|Zustandsraummodelle]] aufgebaut sind und warum sie für moderne [[KI|KI-Systeme]] wieder wichtig geworden sind. Du kannst [[Rekurrentes neuronales Netz|rekurrente neuronale Netze]], [[Transformer|Transformer]], [[Structured State Space Model|SSM-Architekturen]], [[S4]] und [[Mamba]] vergleichen. Außerdem lernst Du, warum Begriffe wie '''Zustand''', '''Übergang''', '''Eingabe''', '''Ausgabe''', '''Gedächtnis''', '''Langzeitabhängigkeit''' und '''lineare Skalierung''' für moderne [[Sequenzmodellierung|Sequenzmodellierung]] zentral sind.

{{BR}}
= Grundidee: Was ist ein Zustandsraummodell? =

Ein [[Zustandsraummodell]] beschreibt ein [[Dynamisches System|dynamisches System]] über einen inneren Zustand. Dieser Zustand enthält die Informationen, die nötig sind, um aus der Vergangenheit und der aktuellen Eingabe die Zukunft des Systems zu berechnen. In der klassischen [[Regelungstechnik]] kann ein Zustand zum Beispiel die Geschwindigkeit eines Fahrzeugs, die Spannung an einem Kondensator oder die Position einer schwingenden Masse sein. In modernen [[Neuronale Netze|neuronalen Netzen]] kann der Zustand eine gelernte, hochdimensionale Repräsentation sein, die wichtige Informationen aus einer langen Sequenz speichert.

[[Datei:Typical State Space Model (CT).svg|500px|rahmenlos|center]]

Ein einfaches diskretes Zustandsraummodell kann so dargestellt werden:

:<math>x_{t+1}=Ax_t+Bu_t</math>
:<math>y_t=Cx_t+Du_t</math>

Dabei ist <math>x_t</math> der [[Zustand]], <math>u_t</math> die [[Eingabe]], <math>y_t</math> die [[Ausgabe]] und <math>A</math>, <math>B</math>, <math>C</math>, <math>D</math> sind [[Matrix|Matrizen]], die beschreiben, wie das System Informationen weitergibt. Für das Lernen mit [[Zeitreihe|Zeitreihen]], [[Text]], [[Audio]], [[Video]] oder [[Genomik|genomischen Sequenzen]] ist diese Idee besonders spannend: Nicht jedes frühere Element muss direkt mit jedem späteren Element verglichen werden. Stattdessen kann ein kompakter Zustand Informationen über die Vergangenheit tragen.

{{BR}}
= Von der Regelungstechnik zum Deep Learning =

Die [[Zustandsraumdarstellung]] stammt aus der [[Systemtheorie]] und [[Regelungstechnik]]. Dort wird gefragt: Wie verändert sich ein System über die Zeit? Welche Eingaben wirken auf das System? Welche inneren Größen bestimmen die zukünftige Entwicklung? Diese Fragen sind auch für [[Künstliche Intelligenz|künstliche Intelligenz]] relevant. Ein Sprachmodell muss sich frühere Wörter merken, ein Audiosystem muss Klangverläufe erfassen und ein Modell für medizinische Zeitreihen muss langfristige Muster erkennen.

Der Übergang zum [[Deep Learning]] besteht darin, dass die Zustandsübergänge nicht nur fest vorgegeben werden, sondern durch [[Training]] aus Daten gelernt werden. Dadurch entsteht eine Brücke zwischen physikalisch inspirierten Modellen und datengetriebenen [[Neuronales Netz|neuronalen Netzen]].

{{BR}}
= Neuronale Netze und Sequenzen =

[[Neuronale Netze]] bestehen aus Schichten künstlicher Neuronen, die Eingaben in Repräsentationen und Ausgaben umwandeln. Für Bilder können [[Convolutional Neural Network|Convolutional Neural Networks]] räumliche Strukturen gut erfassen. Für Sequenzen braucht ein Modell zusätzlich ein Verständnis von Reihenfolge, Dauer und Kontext.

[[Datei:Artificial neural network.svg|500px|rahmenlos|center]]

Bei Sequenzen geht es um Daten, deren Reihenfolge entscheidend ist. Beispiele sind [[Sprache]], [[Musik]], [[Sensorik|Sensordaten]], [[Finanzzeitreihe|Finanzzeitreihen]], [[DNA-Sequenz|DNA-Sequenzen]] und [[Programmcode]]. Ein Modell muss nicht nur das aktuelle Element verarbeiten, sondern auch entscheiden, welche früheren Informationen noch wichtig sind.

{{BR}}
== Rekurrente neuronale Netze ==

[[Rekurrentes neuronales Netz|Rekurrente neuronale Netze]] verarbeiten Sequenzen Schritt für Schritt. Sie besitzen einen verborgenen Zustand, der nach jedem Zeitschritt aktualisiert wird. Dadurch ähneln sie klassischen [[Zustandsraummodell|Zustandsraummodellen]]. Ihr Vorteil ist die natürliche Verarbeitung von Reihenfolgen. Ein Problem ist jedoch, dass lange Abhängigkeiten schwer zu lernen sein können, weil Informationen über viele Schritte hinweg abgeschwächt werden können.

[[Datei:Recurrent neural network unfold.svg|500px|rahmenlos|center]]

{{BR}}
== Transformer und Attention ==

[[Transformer]] haben viele Bereiche des [[Deep Learning]] geprägt, weil sie mithilfe von [[Attention]] direkte Beziehungen zwischen Elementen einer Sequenz berechnen können. Das ist sehr leistungsfähig, kann aber bei langen Sequenzen rechen- und speicherintensiv werden. Bei vollständiger [[Self-Attention]] wächst der Aufwand typischerweise quadratisch mit der Länge der Sequenz. Deshalb wird nach Alternativen gesucht, die lange Kontexte effizienter verarbeiten können.

{{BR}}
== Warum State-Space-Modelle neu gedacht werden ==

Moderne [[State-Space-Modelle]] versuchen, das Beste aus mehreren Welten zu verbinden: die Zustandsidee aus der [[Systemtheorie]], die Sequenzverarbeitung aus [[Rekurrentes neuronales Netz|rekurrenten Netzen]], die Effizienz von [[Faltung|Faltungen]] und die Skalierbarkeit moderner [[GPU|GPU-Implementierungen]]. Sie sind besonders interessant, wenn Sequenzen sehr lang sind oder wenn Speicher und Rechenzeit eine große Rolle spielen.

{{BR}}
= Structured State Space Models =

[[Structured State Space Model|Structured State Space Models]] nutzen spezielle mathematische Strukturen, damit Zustandsraummodelle effizient trainiert und ausgewertet werden können. Der Begriff '''strukturiert''' bedeutet, dass die Matrizen nicht beliebig gewählt werden, sondern so aufgebaut sind, dass Berechnungen stabiler, schneller und speicherschonender werden. Solche Modelle können je nach Darstellung als [[Rekursion]], [[Faltung]] oder kontinuierliches System interpretiert werden.

{{BR}}
== S4: Structured State Space Sequence Model ==

[[S4]] steht für '''Structured State Space Sequence Model'''. S4 wurde entwickelt, um sehr lange Sequenzen besser zu verarbeiten. Die zentrale Idee ist, eine spezielle Parametrisierung des Zustandsraums zu verwenden, damit die Berechnung effizient wird und lange Abhängigkeiten erhalten bleiben. S4 machte deutlich, dass Zustandsraummodelle nicht nur klassische Werkzeuge der [[Regelungstechnik]] sind, sondern auch leistungsfähige Bausteine moderner [[KI]] sein können.

{{BR}}
== S5, Hyena, Jamba und weitere Entwicklungen ==

Nach S4 entstanden weitere Modelle und Hybridansätze. [[S5]] vereinfachte bestimmte Aspekte strukturierter Zustandsraummodelle. Andere Ansätze kombinierten [[Faltung]], [[Gating]], [[Attention]] oder [[Mixture of Experts|Expertensysteme]]. Diese Entwicklung zeigt, dass die Forschung nicht nach einer einzigen perfekten Architektur sucht, sondern nach einem Baukasten für verschiedene Aufgaben, Datentypen und Hardwarebedingungen.

{{BR}}
= Mamba: Selektive State-Space-Modelle =

[[Mamba]] ist eine Architektur für [[Sequenzmodellierung]], die auf selektiven [[State-Space-Modelle|State-Space-Modellen]] basiert. Das Besondere ist die '''Selektivität''': Bestimmte Parameter des Modells hängen von der aktuellen Eingabe ab. Das Modell kann dadurch entscheiden, welche Informationen im Zustand behalten, aktualisiert oder vergessen werden. Diese Idee erinnert an Tore in [[LSTM|LSTM-Netzen]] oder [[Gated Recurrent Unit|GRU-Netzen]], wird aber in einer modernen SSM-Architektur anders umgesetzt.

{{#ev:youtube|https://www.youtube.com/watch?v=g1AqUhP00Do|500|center}}

Mamba wurde bekannt, weil es für lange Sequenzen lineare Skalierung anstrebt und zugleich konkurrenzfähige Ergebnisse in mehreren Bereichen der Sequenzmodellierung zeigte. Trotzdem ersetzt Mamba Transformer nicht automatisch in allen Anwendungen. In der Praxis hängen Ergebnisse von [[Datensatz]], [[Modellgröße]], [[Training]], [[Hardware]], [[Optimierung]] und Aufgabe ab. Wichtig ist deshalb eine differenzierte Sicht: [[Mamba]] ist keine magische Abkürzung, sondern ein ernstzunehmender Architekturbaustein.

{{BR}}
= Mamba-2 und State Space Duality =

[[Mamba-2]] baut auf [[Mamba]] auf und stellt mit [[State Space Duality|Structured State Space Duality]] eine Verbindung zwischen [[State-Space-Modelle|State-Space-Modellen]] und [[Attention]] her. Die Grundidee ist, dass bestimmte SSM-Berechnungen und bestimmte Attention-Varianten mathematisch enger verwandt sind, als es auf den ersten Blick scheint. Dadurch können neue Algorithmen entstehen, die theoretische Klarheit und praktische Effizienz verbinden.

Für Dich ist besonders wichtig: Mamba-2 zeigt, dass die Debatte nicht einfach '''Transformer gegen SSM''' lautet. Stattdessen geht es um ein tieferes Verständnis von Sequenzmodellen. Viele moderne Architekturen lassen sich als unterschiedliche Wege beschreiben, Informationen über Zeit, Kontext und Zustand zu organisieren.

{{BR}}
= Vergleich: RNN, Transformer und State-Space-Modelle =

{| class="wikitable"
! Aspekt
! Rekurrentes neuronales Netz
! Transformer
! State-Space-Modell
|-
| Grundidee
| Schrittweise Aktualisierung eines verborgenen Zustands
| Direkte Kontextbeziehungen über Attention
| Dynamischer Zustand mit strukturierter Übergangsgleichung
|-
| Stärken
| Natürlich für zeitliche Daten und kleine Modelle
| Sehr stark bei Sprachmodellen und parallelem Training
| Effizient bei langen Sequenzen und kompakter Zustandsspeicherung
|-
| Herausforderung
| Schwierige Langzeitabhängigkeiten und geringe Parallelisierung
| Hoher Speicherbedarf bei langen Kontexten
| Komplexe Mathematik und anspruchsvolle Implementierung
|-
| Typische Begriffe
| Hidden State, Rekurrenz, Gate
| Token, Query, Key, Value, Attention
| Zustand, Übergang, Scan, Selektion
|-
| Didaktische Leitfrage
| Was wird im Gedächtnis behalten?
| Welche Elemente beachten sich gegenseitig?
| Wie entwickelt sich der Zustand über die Sequenz?
|}

{{BR}}
= Zentrale Begriffe =

# [[Zustand]]: Eine interne Repräsentation, die wichtige Informationen über die Vergangenheit speichert.
# [[Eingabe]]: Das aktuelle Element einer Sequenz, zum Beispiel ein Token, ein Messwert oder ein Audiosample.
# [[Ausgabe]]: Das Ergebnis des Modells zu einem Zeitschritt oder für die gesamte Sequenz.
# [[Übergangsmatrix]]: Eine mathematische Beschreibung, wie ein Zustand in den nächsten Zustand überführt wird.
# [[Selektion]]: Die Fähigkeit eines Modells, abhängig von der Eingabe Informationen zu behalten oder zu vergessen.
# [[Scan Algorithmus|Scan]]: Eine effiziente Berechnung rekurrenter Strukturen, die auf moderner Hardware parallelisiert werden kann.
# [[Langzeitabhängigkeit]]: Eine Beziehung zwischen weit voneinander entfernten Elementen einer Sequenz.
# [[Lineare Skalierung]]: Ein Aufwand, der ungefähr proportional zur Länge der Sequenz wächst.
# [[Quadratische Skalierung]]: Ein Aufwand, der bei Verdopplung der Sequenzlänge ungefähr viermal so groß werden kann.
# [[Hardware-aware Algorithmus]]: Ein Algorithmus, der an die Eigenschaften moderner [[GPU|GPUs]] oder [[TPU|TPUs]] angepasst ist.

{{BR}}
= Ein einfaches Denkmodell =

Stell Dir vor, Du liest einen langen Text. Du merkst Dir nicht jedes Wort als vollständige Kopie, sondern bildest eine innere Zusammenfassung. Manche Details vergisst Du, andere bleiben wichtig. Ein [[State-Space-Modell]] funktioniert ähnlich: Es aktualisiert einen Zustand, der die Vergangenheit zusammenfasst. Ein selektives Modell wie [[Mamba]] kann dabei abhängig von der Eingabe entscheiden, welche Informationen besonders relevant sind.

Dieses Denkmodell ist nicht perfekt, aber es hilft: [[Attention]] fragt eher '''Welche früheren Stellen sind jetzt relevant?''' Ein [[State-Space-Modell]] fragt eher '''Wie soll mein innerer Zustand jetzt aktualisiert werden?''' Beide Fragen sind wichtig. Moderne Forschung versucht, diese Perspektiven besser zu verbinden.

{{BR}}
= Mathematischer Kern ohne Überforderung =

Ein klassisches lineares Zustandsraummodell kann kontinuierlich oder diskret formuliert werden. In kontinuierlicher Zeit beschreibt <math>\dot{x}(t)</math>, wie sich der Zustand verändert. In diskreter Zeit wird der Zustand Schritt für Schritt aktualisiert. Für [[Deep Learning]] ist die diskrete Sicht besonders anschaulich, weil Sequenzen aus einzelnen Elementen bestehen.

Die wichtigsten Bausteine sind:

# [[Zustandsvektor]]: Er speichert die interne Information.
# [[Systemmatrix]]: Sie beschreibt, wie der Zustand fortgeschrieben wird.
# [[Eingabematrix]]: Sie beschreibt, wie neue Eingaben in den Zustand gelangen.
# [[Ausgabematrix]]: Sie beschreibt, wie aus dem Zustand eine Ausgabe entsteht.
# [[Diskretisierung]]: Sie überführt ein kontinuierliches System in Schritte, die ein Computer berechnen kann.

{{BR}}
= Warum lange Sequenzen schwierig sind =

Lange Sequenzen sind schwierig, weil Modelle Informationen über viele Schritte behalten müssen. Bei Texten können wichtige Hinweise viele Seiten zurückliegen. Bei Audiodaten können Rhythmus, Klangfarbe und Bedeutung über lange Zeiträume verteilt sein. Bei [[Genomik]] können weit entfernte Sequenzabschnitte biologisch zusammenhängen. Ein Modell muss deshalb entscheiden, welche Informationen gespeichert, verdichtet oder ignoriert werden.

Transformer lösen dies über [[Attention]], was sehr flexibel ist, aber bei langen Sequenzen teuer werden kann. [[State-Space-Modelle]] lösen es über einen strukturierten Zustand. Dadurch kann die Berechnung oft günstiger werden, aber das Modell muss sehr gut lernen, welche Informationen in diesem Zustand repräsentiert werden.

{{BR}}
= Chancen und Grenzen =

[[State-Space-Modelle]] bieten Chancen für längere Kontexte, effiziente Inferenz, Zeitreihenanalyse, Audiodaten, Robotik, medizinische Daten und eingebettete Systeme. Sie sind besonders spannend, wenn nicht nur maximale Modellgröße zählt, sondern auch [[Energieeffizienz]], [[Latenz]], [[Speicherbedarf]] und [[Interpretierbarkeit]] wichtig sind.

Gleichzeitig gibt es Grenzen. Viele SSM-Architekturen sind mathematisch anspruchsvoll, Implementierungen sind hardwareabhängig und Forschungsergebnisse lassen sich nicht automatisch auf jede Aufgabe übertragen. Transformer bleiben in vielen Bereichen stark. Ein guter technischer Blick vergleicht daher nicht Schlagworte, sondern konkrete Anforderungen: Sequenzlänge, Trainingsdaten, Hardware, Genauigkeit, Kosten, Wartbarkeit und Risiken.

{{BR}}
= Anwendungen =

# [[Sprachmodell]]: Verarbeitung langer Texte, Dokumente und Dialoge.
# [[Audioanalyse]]: Modellierung von Sprache, Musik, Geräuschen und langen Tonsignalen.
# [[Zeitreihenanalyse]]: Prognosen aus Sensordaten, Finanzdaten, Wetterdaten oder Produktionsdaten.
# [[Genomik]]: Analyse langer biologischer Sequenzen.
# [[Robotik]]: Nutzung von Zuständen für Wahrnehmung, Planung und Kontrolle.
# [[Medizininformatik]]: Auswertung zeitlicher Messreihen, zum Beispiel in Intensivmedizin oder Diagnostik.
# [[Edge AI]]: KI-Systeme auf Geräten mit begrenztem Speicher und Energieverbrauch.

{{BR}}
= Kritisches Denken: Hype und Realität =

Neue KI-Architekturen werden oft mit starken Versprechen vorgestellt. Für [[Mamba]], [[Mamba-2]] und andere [[State-Space-Modelle]] gilt: Sie sind wissenschaftlich relevant und praktisch interessant, aber ihre Bedeutung hängt vom Kontext ab. Prüfe bei jeder Aussage:

# [[Benchmark]]: Auf welchen Datensätzen wurde getestet?
# [[Vergleichbarkeit]]: Waren Modellgröße, Trainingsdaten und Rechenbudget vergleichbar?
# [[Skalierung]]: Gilt die Aussage für kleine, mittlere oder sehr große Modelle?
# [[Hardware]]: Welche GPU, TPU oder Softwarebibliothek wurde verwendet?
# [[Einsatzgebiet]]: Geht es um Training, Inferenz, lange Kontexte oder bestimmte Datentypen?
# [[Reproduzierbarkeit]]: Gibt es offenen Code, klare Experimente und unabhängige Bestätigungen?

{{BR}}
= Didaktische Zusammenfassung =

'''State-Space-Modelle''' sind eine Möglichkeit, Sequenzen über Zustände zu modellieren. Klassische [[Zustandsraumdarstellung|Zustandsraummodelle]] kommen aus der [[Systemtheorie]] und [[Regelungstechnik]]. Moderne [[Structured State Space Model|Structured State Space Models]] übertragen diese Idee in das [[Deep Learning]]. [[S4]] zeigte, dass strukturierte Zustandsräume lange Sequenzen leistungsfähig modellieren können. [[Mamba]] ergänzt eine selektive, eingabeabhängige Zustandsaktualisierung. [[Mamba-2]] vertieft die Verbindung zwischen SSMs und [[Attention]] über [[State Space Duality]]. Dadurch entsteht ein neues Verständnis von [[Neuronale Netze|neuronalen Netzen]] als dynamische Systeme, die Informationen über Zeit und Kontext organisieren.

[[Datei:Colored neural network.svg|500px|rahmenlos|center]]

{{BR}}
= Wissenschaftliche Vertiefung =

# [https://arxiv.org/abs/2111.00396 S4: Efficiently Modeling Long Sequences with Structured State Spaces]: Grundlegendes Paper zu [[S4]] und langen Sequenzen.
# [https://arxiv.org/abs/2312.00752 Mamba: Linear-Time Sequence Modeling with Selective State Spaces]: Paper zu [[Mamba]] und selektiven State-Space-Modellen.
# [https://arxiv.org/abs/2405.21060 Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality]: Paper zu [[Mamba-2]] und [[State Space Duality]].
# [https://github.com/state-spaces/mamba state-spaces/mamba]: Offene Implementierung der [[Mamba]]-Architektur.
# [https://tridao.me/blog/2024/mamba2-part1-model/ State Space Duality Blog von Tri Dao]: Didaktische Erklärung zu [[Mamba-2]] und SSD.

{{BR}}
= Interaktive Aufgaben =

{{BR}}
== Quiz: Teste Dein Wissen ==

{{MC}}
'''Was beschreibt ein Zustandsraummodell im Kern?'''
(Ein dynamisches System über innere Zustände, Eingaben und Ausgaben)
(!Eine reine Bildklassifikation ohne Zeitbezug)
(!Eine Datenbankstruktur für Tabellen)
(!Eine Methode zur manuellen Textkorrektur)
{{E}}
<br>

{{MC}}
'''Welche Größe speichert in einem Zustandsraummodell Informationen über die Vergangenheit?'''
(Der Zustand)
(!Der Dateiname)
(!Die Bildschirmauflösung)
(!Der Zufallsgenerator)
{{E}}
<br>

{{MC}}
'''Warum sind State-Space-Modelle für lange Sequenzen interessant?'''
(Sie können Informationen kompakt über einen Zustand weitergeben)
(!Sie benötigen immer mehr Speicher als Transformer)
(!Sie ignorieren die Reihenfolge der Daten)
(!Sie funktionieren nur bei Bildern ohne Zeitbezug)
{{E}}
<br>

{{MC}}
'''Was ist eine typische Herausforderung vollständiger Self-Attention bei langen Sequenzen?'''
(Der Rechen- und Speicheraufwand wächst stark mit der Sequenzlänge)
(!Sie kann keine Token verarbeiten)
(!Sie hat keinen Bezug zu Kontext)
(!Sie ist nur für lineare Gleichungen erlaubt)
{{E}}
<br>

{{MC}}
'''Wofür steht S4 im Kontext moderner Sequenzmodelle?'''
(Structured State Space Sequence Model)
(!Simple Static Sorting System)
(!Standard Signal Storage Stack)
(!Sequential Symbol Search Scheme)
{{E}}
<br>

{{MC}}
'''Was ist die zentrale Idee selektiver State-Space-Modelle wie Mamba?'''
(Parameter können abhängig von der Eingabe angepasst werden)
(!Alle Eingaben werden dauerhaft unverändert gespeichert)
(!Das Modell verwendet ausschließlich handgeschriebene Regeln)
(!Die Sequenzlänge muss immer eins sein)
{{E}}
<br>

{{MC}}
'''Welche Frage passt besonders gut zur Denkweise eines State-Space-Modells?'''
(Wie wird der innere Zustand jetzt aktualisiert)
(!Welche Farbe hat die Benutzeroberfläche)
(!Wie wird ein Bild verlustfrei komprimiert)
(!Welche Datei wurde zuletzt geöffnet)
{{E}}
<br>

{{MC}}
'''Was verbindet Mamba-2 stärker mit Transformer-Modellen?'''
(State Space Duality)
(!Pixelrauschen)
(!Tabellenkalkulation)
(!Manuelle Annotation)
{{E}}
<br>

{{MC}}
'''Welche Aussage ist bei neuen KI-Architekturen besonders wichtig?'''
(Benchmarks und Einsatzkontext müssen kritisch geprüft werden)
(!Jede neue Architektur ist automatisch überlegen)
(!Modellnamen reichen als Leistungsnachweis aus)
(!Rechenkosten sind grundsätzlich unwichtig)
{{E}}
<br>

{{MC}}
'''In welchem Bereich können State-Space-Modelle besonders nützlich sein?'''
(Analyse langer Zeitreihen und Sequenzen)
(!Drucken von Papierformularen)
(!Sortieren von Büchern nach Farbe)
(!Ersetzen aller mathematischen Modelle)
{{E}}
<br>

{{BR}}
== Memory ==

<div class="memo-quiz">
{|
|-
| Zustand || Interne Erinnerung eines Systems
|-
| Eingabe || Aktuelles Sequenzelement
|-
| Ausgabe || Ergebnis des Modells
|-
| Selektion || Relevantes behalten und Unwichtiges vergessen
|-
| S4 || Strukturiertes Sequenzmodell
|-
| Mamba || Selektives State-Space-Modell
|-
| Attention || Direkte Kontextgewichtung
|-
| Langzeitabhängigkeit || Verbindung über viele Schritte
|}
{{E}}
<br>

{{BR}}
== Drag and Drop ==

<div class="lueckentext-quiz">

{| class="wikitable"
! Ordne die richtigen Begriffe zu.
! Thema
|-
| '''Zustand'''
| Interne Information über die Vergangenheit
|-
| '''Übergang'''
| Aktualisierung von einem Schritt zum nächsten
|-
| '''Eingabe'''
| Neues Element der Sequenz
|-
| '''Ausgabe'''
| Berechnetes Ergebnis des Modells
|-
| '''Selektion'''
| Entscheidung über Behalten oder Vergessen
|-
| '''Skalierung'''
| Wachstum des Aufwands bei längeren Sequenzen

|}
{{E}}

<br>
<div class="lueckentext-quiz">

{| class="wikitable"
! Ordne die Architektur dem Leitgedanken zu.
! Thema
|-
| '''RNN'''
| Schrittweise Rekurrenz mit Hidden State
|-
| '''Transformer'''
| Kontextbeziehungen über Attention
|-
| '''S4'''
| Strukturierter Zustandsraum für lange Sequenzen
|-
| '''Mamba'''
| Eingabeabhängige selektive Zustandsaktualisierung
|-
| '''Mamba-2'''
| Verbindung von SSM und Attention über Dualität

|}
{{E}}
<br />

{{BR}}
== Kreuzworträtsel ==

<div class="kreuzwort-quiz">
{|
|-
| Zustand || Wie heißt die interne Repräsentation, die Informationen über die Vergangenheit trägt?
|-
| Mamba || Welche Architektur nutzt selektive State-Space-Modelle?
|-
| Matrix || Welche mathematische Struktur beschreibt häufig Zustandsübergänge?
|-
| Token || Wie heißt ein einzelnes Textelement in vielen Sprachmodellen?
|-
| Rekurrenz || Wie heißt die schrittweise Rückkopplung in Sequenzmodellen?
|-
| Selektion || Wie heißt die Fähigkeit, Wichtiges zu behalten und Unwichtiges zu vergessen?
|}
{{E}}
<br>

{{BR}}
== LearningApps ==

<iframe> https://learningapps.org/index.php?s=State-Space-Modelle+Zustandsraummodelle+Neuronale+Netze </iframe>

{{BR}}
== Lückentext ==

<quiz display=simple>
{'''Vervollständige den Text.'''<br>
|type="{}"}
Ein Zustandsraummodell beschreibt ein dynamisches System über einen inneren { Zustand } . Die aktuelle { Eingabe } verändert diesen Zustand Schritt für Schritt. Aus dem Zustand kann eine { Ausgabe } berechnet werden. Moderne Structured State Space Models nutzen mathematische { Struktur } , um lange Sequenzen effizienter zu verarbeiten. S4 zeigte, dass Zustandsraummodelle für lange { Sequenzen } im Deep Learning leistungsfähig sein können. Mamba erweitert diese Idee durch { Selektion } , sodass Informationen abhängig vom aktuellen Element behalten oder vergessen werden. Transformer nutzen dagegen vor allem { Attention } , um direkte Beziehungen zwischen Token zu berechnen. Mamba-2 verbindet beide Sichtweisen über State Space { Duality } .
</quiz>

<br>

{{BR}}
= Offene Aufgaben =

=== Leicht ===
# [[Begriffslandkarte]]: Erstelle eine Mindmap zu den Begriffen [[Zustand]], [[Eingabe]], [[Ausgabe]], [[Übergang]], [[Selektion]] und [[Sequenz]].
# [[Alltagsmodell]]: Beschreibe ein Alltagssystem als Zustandsraummodell, zum Beispiel einen Wasserkocher, ein Fahrrad oder Deinen Lernfortschritt.
# [[Sequenzbeispiele]]: Sammle fünf Beispiele für Sequenzen aus Deinem Alltag und erkläre, warum Reihenfolge dort wichtig ist.
# [[Vergleichssatz]]: Formuliere in eigenen Worten den Unterschied zwischen [[Attention]] und einem [[Zustand]].

=== Standard ===
# [[Architekturvergleich]]: Erstelle eine Tabelle, in der Du [[RNN]], [[Transformer]], [[S4]] und [[Mamba]] nach Stärken, Grenzen und typischen Anwendungen vergleichst.
# [[Erklärvideo]]: Produziere ein kurzes Video oder eine Präsentation, in der Du erklärst, warum lange Sequenzen für KI-Modelle schwierig sind.
# [[Modellskizze]]: Zeichne ein vereinfachtes State-Space-Modell mit Eingabe, Zustand, Übergang und Ausgabe.
# [[Quellenkritik]]: Analysiere einen Blogartikel oder ein Paper zu Mamba und prüfe, welche Aussagen durch Benchmarks gestützt werden.

=== Schwer ===
# [[Mathematische Modellierung]]: Übersetze ein einfaches physikalisches System in eine Zustandsraumdarstellung mit Zustandsvektor und Matrizen.
# [[Experiment]]: Programmiere ein kleines rekurrentes Modell oder eine einfache Zustandsaktualisierung und teste es an einer künstlichen Sequenz.
# [[Forschungsdebatte]]: Schreibe einen argumentativen Text zur Frage, ob SSMs Transformer in bestimmten Bereichen ergänzen oder ersetzen können.
# [[Transferprojekt]]: Entwirf ein Konzept für ein KI-System, das lange Sensordaten mit einem State-Space-Modell auswertet, und beschreibe Chancen, Risiken und Evaluationskriterien.

{{:Offene Aufgabe - MOOC erstellen}}

{{BR}}
= Lernkontrolle =

# [[Transferanalyse]]: Erkläre an einem selbst gewählten Beispiel, warum ein kompakter Zustand bei langen Sequenzen nützlich sein kann.
# [[Architekturbewertung]]: Entscheide begründet, ob für ein Projekt mit sehr langen Audiodaten eher ein Transformer, ein RNN oder ein State-Space-Modell geeignet wäre.
# [[Benchmarkkritik]]: Entwickle Kriterien, mit denen Du Werbeaussagen über ein neues KI-Modell kritisch überprüfen kannst.
# [[Modellvergleich]]: Erkläre, warum ein Transformer und ein State-Space-Modell unterschiedliche Antworten auf das Problem langer Kontexte geben.
# [[Fehleranalyse]]: Beschreibe mögliche Gründe, warum ein State-Space-Modell bei einer Aufgabe schlechter abschneiden könnte als ein Transformer.
# [[Ethik und Ressourcen]]: Diskutiere, wie effizientere Sequenzmodelle Energieverbrauch, Zugänglichkeit und gesellschaftliche Nutzung von KI beeinflussen könnten.

<br>
<br>
{{BR}}
= Lernnachweis =

Für einen guten Lernnachweis zu diesem Thema solltest Du zeigen, dass Du nicht nur Begriffe auswendig kennst, sondern Zusammenhänge erklären und anwenden kannst.

# [[Begriffserklärung]]: Du erklärst die Begriffe [[Zustand]], [[Zustandsraum]], [[Eingabe]], [[Ausgabe]], [[Übergang]], [[Attention]], [[Selektion]] und [[Skalierung]].
# [[Modellverständnis]]: Du beschreibst, wie ein Zustandsraummodell eine Sequenz Schritt für Schritt verarbeitet.
# [[Vergleichskompetenz]]: Du vergleichst [[RNN]], [[Transformer]], [[S4]], [[Mamba]] und [[Mamba-2]] fachlich korrekt.
# [[Anwendung]]: Du überträgst die Modellidee auf ein eigenes Beispiel aus Sprache, Audio, Zeitreihen, Robotik oder Genomik.
# [[Kritische Reflexion]]: Du bewertest Chancen und Grenzen von State-Space-Modellen ohne Hype und mit Blick auf Daten, Hardware und Einsatzkontext.
# [[Produkt]]: Du erstellst eine eigene Skizze, Präsentation, Simulation, Erklärung oder Analyse, die den Lernfortschritt sichtbar macht.

<br>
<br>
{{BR}}
= OERs zum Thema =

<iframe> https://de.m.wikipedia.org/wiki/Zustandsraumdarstellung </iframe>

<iframe> https://de.m.wikipedia.org/wiki/Rekurrentes_neuronales_Netz </iframe>

<iframe> https://en.m.wikipedia.org/wiki/Mamba_(deep_learning_architecture) </iframe>

<br>

{{BR}}
= Links =

{| align=center
{{:D-Tab}}
'''[[State-Space-Modelle]]'''
# [[Zustandsraumdarstellung]]
# [[Zustand]]
# [[Zustandsvektor]]
# [[Dynamisches System]]
# [[Regelungstechnik]]
# [[Signalverarbeitung]]
# [[Neuronales Netz]]
# [[Rekurrentes neuronales Netz]]
# [[Transformer]]
# [[Attention]]
# [[Structured State Space Model]]
# [[S4]]
# [[Mamba]]
# [[Mamba-2]]
# [[State Space Duality]]
# [[Sequenzmodellierung]]
# [[Zeitreihenanalyse]]
# [[Deep Learning]]
# [[Maschinelles Lernen]]
# [[Künstliche Intelligenz]]
|}

[[Kategorie:Informatik]]
[[Kategorie:Künstliche Intelligenz]]
[[Kategorie:Maschinelles Lernen]]
[[Kategorie:Deep Learning]]
[[Kategorie:Mathematik]]
[[Kategorie:Regelungstechnik]]
[[Kategorie:Medienbildung]]
[[Kategorie:Oberstufe]]
[[Kategorie:Studium]]
[[Kategorie:aiMOOC]]
= aiMOOC-Projekte =
[[Kategorie:AI_MOOC]] [[Kategorie:GPT aiMOOC]]
{{MT}}

State-Space-Modelle-Einblicke - Versionsgeschichte

Glanz: aiMOOC über GPT aiMOOC Action erstellt