State-Space-Modelle-Einblicke

Einleitung

State-Space-Modelle-Einblicke: Zustandsraummodelle / Neuronale Netze neu denken ist ein aiMOOC über eine wichtige Entwicklung im maschinellen Lernen: Moderne State-Space-Modelle verbinden Ideen aus der Regelungstechnik, Signalverarbeitung, Mathematik und Deep Learning. Sie helfen Dir zu verstehen, wie neuronale Netze Sequenzen verarbeiten können, ohne sich ausschließlich auf Attention-Mechanismen zu stützen.

{{#ev:youtube|https://www.youtube.com/watch?v=iKz8LzWJVFQ%7C500%7Ccenter}}

Das Video behandelt State-Space-Modelle-Einblicke: Zustandsraummodelle / Neuronale Netze neu denken als Teil einer Perspektive auf Zukunftsthemen jenseits des Mainstreams. Im Zentrum stehen Structured State Space Models, S4, Mamba, Mamba-2 und die Frage, wie neuronale Netze für lange Sequenzen effizienter, speicherschonender und theoretisch klarer gestaltet werden können.

Lernziele

Nach diesem aiMOOC kannst Du erklären, was ein Zustandsraum ist, wie klassische Zustandsraummodelle aufgebaut sind und warum sie für moderne KI-Systeme wieder wichtig geworden sind. Du kannst rekurrente neuronale Netze, Transformer, SSM-Architekturen, S4 und Mamba vergleichen. Außerdem lernst Du, warum Begriffe wie Zustand, Übergang, Eingabe, Ausgabe, Gedächtnis, Langzeitabhängigkeit und lineare Skalierung für moderne Sequenzmodellierung zentral sind.

Grundidee: Was ist ein Zustandsraummodell?

Ein Zustandsraummodell beschreibt ein dynamisches System über einen inneren Zustand. Dieser Zustand enthält die Informationen, die nötig sind, um aus der Vergangenheit und der aktuellen Eingabe die Zukunft des Systems zu berechnen. In der klassischen Regelungstechnik kann ein Zustand zum Beispiel die Geschwindigkeit eines Fahrzeugs, die Spannung an einem Kondensator oder die Position einer schwingenden Masse sein. In modernen neuronalen Netzen kann der Zustand eine gelernte, hochdimensionale Repräsentation sein, die wichtige Informationen aus einer langen Sequenz speichert.

Ein einfaches diskretes Zustandsraummodell kann so dargestellt werden:

x_{t + 1} = A x_{t} + B u_{t}

y_{t} = C x_{t} + D u_{t}

Dabei ist $x_{t}$ der Zustand, $u_{t}$ die Eingabe, $y_{t}$ die Ausgabe und $A$ , $B$ , $C$ , $D$ sind Matrizen, die beschreiben, wie das System Informationen weitergibt. Für das Lernen mit Zeitreihen, Text, Audio, Video oder genomischen Sequenzen ist diese Idee besonders spannend: Nicht jedes frühere Element muss direkt mit jedem späteren Element verglichen werden. Stattdessen kann ein kompakter Zustand Informationen über die Vergangenheit tragen.

Von der Regelungstechnik zum Deep Learning

Die Zustandsraumdarstellung stammt aus der Systemtheorie und Regelungstechnik. Dort wird gefragt: Wie verändert sich ein System über die Zeit? Welche Eingaben wirken auf das System? Welche inneren Größen bestimmen die zukünftige Entwicklung? Diese Fragen sind auch für künstliche Intelligenz relevant. Ein Sprachmodell muss sich frühere Wörter merken, ein Audiosystem muss Klangverläufe erfassen und ein Modell für medizinische Zeitreihen muss langfristige Muster erkennen.

Der Übergang zum Deep Learning besteht darin, dass die Zustandsübergänge nicht nur fest vorgegeben werden, sondern durch Training aus Daten gelernt werden. Dadurch entsteht eine Brücke zwischen physikalisch inspirierten Modellen und datengetriebenen neuronalen Netzen.

Neuronale Netze und Sequenzen

Neuronale Netze bestehen aus Schichten künstlicher Neuronen, die Eingaben in Repräsentationen und Ausgaben umwandeln. Für Bilder können Convolutional Neural Networks räumliche Strukturen gut erfassen. Für Sequenzen braucht ein Modell zusätzlich ein Verständnis von Reihenfolge, Dauer und Kontext.

Bei Sequenzen geht es um Daten, deren Reihenfolge entscheidend ist. Beispiele sind Sprache, Musik, Sensordaten, Finanzzeitreihen, DNA-Sequenzen und Programmcode. Ein Modell muss nicht nur das aktuelle Element verarbeiten, sondern auch entscheiden, welche früheren Informationen noch wichtig sind.

Rekurrente neuronale Netze

Rekurrente neuronale Netze verarbeiten Sequenzen Schritt für Schritt. Sie besitzen einen verborgenen Zustand, der nach jedem Zeitschritt aktualisiert wird. Dadurch ähneln sie klassischen Zustandsraummodellen. Ihr Vorteil ist die natürliche Verarbeitung von Reihenfolgen. Ein Problem ist jedoch, dass lange Abhängigkeiten schwer zu lernen sein können, weil Informationen über viele Schritte hinweg abgeschwächt werden können.

Transformer und Attention

Transformer haben viele Bereiche des Deep Learning geprägt, weil sie mithilfe von Attention direkte Beziehungen zwischen Elementen einer Sequenz berechnen können. Das ist sehr leistungsfähig, kann aber bei langen Sequenzen rechen- und speicherintensiv werden. Bei vollständiger Self-Attention wächst der Aufwand typischerweise quadratisch mit der Länge der Sequenz. Deshalb wird nach Alternativen gesucht, die lange Kontexte effizienter verarbeiten können.

Warum State-Space-Modelle neu gedacht werden

Moderne State-Space-Modelle versuchen, das Beste aus mehreren Welten zu verbinden: die Zustandsidee aus der Systemtheorie, die Sequenzverarbeitung aus rekurrenten Netzen, die Effizienz von Faltungen und die Skalierbarkeit moderner GPU-Implementierungen. Sie sind besonders interessant, wenn Sequenzen sehr lang sind oder wenn Speicher und Rechenzeit eine große Rolle spielen.

Structured State Space Models

Structured State Space Models nutzen spezielle mathematische Strukturen, damit Zustandsraummodelle effizient trainiert und ausgewertet werden können. Der Begriff strukturiert bedeutet, dass die Matrizen nicht beliebig gewählt werden, sondern so aufgebaut sind, dass Berechnungen stabiler, schneller und speicherschonender werden. Solche Modelle können je nach Darstellung als Rekursion, Faltung oder kontinuierliches System interpretiert werden.

S4: Structured State Space Sequence Model

S4 steht für Structured State Space Sequence Model. S4 wurde entwickelt, um sehr lange Sequenzen besser zu verarbeiten. Die zentrale Idee ist, eine spezielle Parametrisierung des Zustandsraums zu verwenden, damit die Berechnung effizient wird und lange Abhängigkeiten erhalten bleiben. S4 machte deutlich, dass Zustandsraummodelle nicht nur klassische Werkzeuge der Regelungstechnik sind, sondern auch leistungsfähige Bausteine moderner KI sein können.

S5, Hyena, Jamba und weitere Entwicklungen

Nach S4 entstanden weitere Modelle und Hybridansätze. S5 vereinfachte bestimmte Aspekte strukturierter Zustandsraummodelle. Andere Ansätze kombinierten Faltung, Gating, Attention oder Expertensysteme. Diese Entwicklung zeigt, dass die Forschung nicht nach einer einzigen perfekten Architektur sucht, sondern nach einem Baukasten für verschiedene Aufgaben, Datentypen und Hardwarebedingungen.

Mamba: Selektive State-Space-Modelle

Mamba ist eine Architektur für Sequenzmodellierung, die auf selektiven State-Space-Modellen basiert. Das Besondere ist die Selektivität: Bestimmte Parameter des Modells hängen von der aktuellen Eingabe ab. Das Modell kann dadurch entscheiden, welche Informationen im Zustand behalten, aktualisiert oder vergessen werden. Diese Idee erinnert an Tore in LSTM-Netzen oder GRU-Netzen, wird aber in einer modernen SSM-Architektur anders umgesetzt.

{{#ev:youtube|https://www.youtube.com/watch?v=g1AqUhP00Do%7C500%7Ccenter}}

Mamba wurde bekannt, weil es für lange Sequenzen lineare Skalierung anstrebt und zugleich konkurrenzfähige Ergebnisse in mehreren Bereichen der Sequenzmodellierung zeigte. Trotzdem ersetzt Mamba Transformer nicht automatisch in allen Anwendungen. In der Praxis hängen Ergebnisse von Datensatz, Modellgröße, Training, Hardware, Optimierung und Aufgabe ab. Wichtig ist deshalb eine differenzierte Sicht: Mamba ist keine magische Abkürzung, sondern ein ernstzunehmender Architekturbaustein.

Mamba-2 und State Space Duality

Mamba-2 baut auf Mamba auf und stellt mit Structured State Space Duality eine Verbindung zwischen State-Space-Modellen und Attention her. Die Grundidee ist, dass bestimmte SSM-Berechnungen und bestimmte Attention-Varianten mathematisch enger verwandt sind, als es auf den ersten Blick scheint. Dadurch können neue Algorithmen entstehen, die theoretische Klarheit und praktische Effizienz verbinden.

Für Dich ist besonders wichtig: Mamba-2 zeigt, dass die Debatte nicht einfach Transformer gegen SSM lautet. Stattdessen geht es um ein tieferes Verständnis von Sequenzmodellen. Viele moderne Architekturen lassen sich als unterschiedliche Wege beschreiben, Informationen über Zeit, Kontext und Zustand zu organisieren.

Vergleich: RNN, Transformer und State-Space-Modelle

Aspekt	Rekurrentes neuronales Netz	Transformer	State-Space-Modell
Grundidee	Schrittweise Aktualisierung eines verborgenen Zustands	Direkte Kontextbeziehungen über Attention	Dynamischer Zustand mit strukturierter Übergangsgleichung
Stärken	Natürlich für zeitliche Daten und kleine Modelle	Sehr stark bei Sprachmodellen und parallelem Training	Effizient bei langen Sequenzen und kompakter Zustandsspeicherung
Herausforderung	Schwierige Langzeitabhängigkeiten und geringe Parallelisierung	Hoher Speicherbedarf bei langen Kontexten	Komplexe Mathematik und anspruchsvolle Implementierung
Typische Begriffe	Hidden State, Rekurrenz, Gate	Token, Query, Key, Value, Attention	Zustand, Übergang, Scan, Selektion
Didaktische Leitfrage	Was wird im Gedächtnis behalten?	Welche Elemente beachten sich gegenseitig?	Wie entwickelt sich der Zustand über die Sequenz?

Zentrale Begriffe

Zustand: Eine interne Repräsentation, die wichtige Informationen über die Vergangenheit speichert.
Eingabe: Das aktuelle Element einer Sequenz, zum Beispiel ein Token, ein Messwert oder ein Audiosample.
Ausgabe: Das Ergebnis des Modells zu einem Zeitschritt oder für die gesamte Sequenz.
Übergangsmatrix: Eine mathematische Beschreibung, wie ein Zustand in den nächsten Zustand überführt wird.
Selektion: Die Fähigkeit eines Modells, abhängig von der Eingabe Informationen zu behalten oder zu vergessen.
Scan: Eine effiziente Berechnung rekurrenter Strukturen, die auf moderner Hardware parallelisiert werden kann.
Langzeitabhängigkeit: Eine Beziehung zwischen weit voneinander entfernten Elementen einer Sequenz.
Lineare Skalierung: Ein Aufwand, der ungefähr proportional zur Länge der Sequenz wächst.
Quadratische Skalierung: Ein Aufwand, der bei Verdopplung der Sequenzlänge ungefähr viermal so groß werden kann.
Hardware-aware Algorithmus: Ein Algorithmus, der an die Eigenschaften moderner GPUs oder TPUs angepasst ist.

Ein einfaches Denkmodell

Stell Dir vor, Du liest einen langen Text. Du merkst Dir nicht jedes Wort als vollständige Kopie, sondern bildest eine innere Zusammenfassung. Manche Details vergisst Du, andere bleiben wichtig. Ein State-Space-Modell funktioniert ähnlich: Es aktualisiert einen Zustand, der die Vergangenheit zusammenfasst. Ein selektives Modell wie Mamba kann dabei abhängig von der Eingabe entscheiden, welche Informationen besonders relevant sind.

Dieses Denkmodell ist nicht perfekt, aber es hilft: Attention fragt eher Welche früheren Stellen sind jetzt relevant? Ein State-Space-Modell fragt eher Wie soll mein innerer Zustand jetzt aktualisiert werden? Beide Fragen sind wichtig. Moderne Forschung versucht, diese Perspektiven besser zu verbinden.

Mathematischer Kern ohne Überforderung

Ein klassisches lineares Zustandsraummodell kann kontinuierlich oder diskret formuliert werden. In kontinuierlicher Zeit beschreibt $\dot{x} (t)$ , wie sich der Zustand verändert. In diskreter Zeit wird der Zustand Schritt für Schritt aktualisiert. Für Deep Learning ist die diskrete Sicht besonders anschaulich, weil Sequenzen aus einzelnen Elementen bestehen.

Die wichtigsten Bausteine sind:

Zustandsvektor: Er speichert die interne Information.
Systemmatrix: Sie beschreibt, wie der Zustand fortgeschrieben wird.
Eingabematrix: Sie beschreibt, wie neue Eingaben in den Zustand gelangen.
Ausgabematrix: Sie beschreibt, wie aus dem Zustand eine Ausgabe entsteht.
Diskretisierung: Sie überführt ein kontinuierliches System in Schritte, die ein Computer berechnen kann.

Warum lange Sequenzen schwierig sind

Lange Sequenzen sind schwierig, weil Modelle Informationen über viele Schritte behalten müssen. Bei Texten können wichtige Hinweise viele Seiten zurückliegen. Bei Audiodaten können Rhythmus, Klangfarbe und Bedeutung über lange Zeiträume verteilt sein. Bei Genomik können weit entfernte Sequenzabschnitte biologisch zusammenhängen. Ein Modell muss deshalb entscheiden, welche Informationen gespeichert, verdichtet oder ignoriert werden.

Transformer lösen dies über Attention, was sehr flexibel ist, aber bei langen Sequenzen teuer werden kann. State-Space-Modelle lösen es über einen strukturierten Zustand. Dadurch kann die Berechnung oft günstiger werden, aber das Modell muss sehr gut lernen, welche Informationen in diesem Zustand repräsentiert werden.

Chancen und Grenzen

State-Space-Modelle bieten Chancen für längere Kontexte, effiziente Inferenz, Zeitreihenanalyse, Audiodaten, Robotik, medizinische Daten und eingebettete Systeme. Sie sind besonders spannend, wenn nicht nur maximale Modellgröße zählt, sondern auch Energieeffizienz, Latenz, Speicherbedarf und Interpretierbarkeit wichtig sind.

Gleichzeitig gibt es Grenzen. Viele SSM-Architekturen sind mathematisch anspruchsvoll, Implementierungen sind hardwareabhängig und Forschungsergebnisse lassen sich nicht automatisch auf jede Aufgabe übertragen. Transformer bleiben in vielen Bereichen stark. Ein guter technischer Blick vergleicht daher nicht Schlagworte, sondern konkrete Anforderungen: Sequenzlänge, Trainingsdaten, Hardware, Genauigkeit, Kosten, Wartbarkeit und Risiken.

Anwendungen

Sprachmodell: Verarbeitung langer Texte, Dokumente und Dialoge.
Audioanalyse: Modellierung von Sprache, Musik, Geräuschen und langen Tonsignalen.
Zeitreihenanalyse: Prognosen aus Sensordaten, Finanzdaten, Wetterdaten oder Produktionsdaten.
Genomik: Analyse langer biologischer Sequenzen.
Robotik: Nutzung von Zuständen für Wahrnehmung, Planung und Kontrolle.
Medizininformatik: Auswertung zeitlicher Messreihen, zum Beispiel in Intensivmedizin oder Diagnostik.
Edge AI: KI-Systeme auf Geräten mit begrenztem Speicher und Energieverbrauch.

Kritisches Denken: Hype und Realität

Neue KI-Architekturen werden oft mit starken Versprechen vorgestellt. Für Mamba, Mamba-2 und andere State-Space-Modelle gilt: Sie sind wissenschaftlich relevant und praktisch interessant, aber ihre Bedeutung hängt vom Kontext ab. Prüfe bei jeder Aussage:

Benchmark: Auf welchen Datensätzen wurde getestet?
Vergleichbarkeit: Waren Modellgröße, Trainingsdaten und Rechenbudget vergleichbar?
Skalierung: Gilt die Aussage für kleine, mittlere oder sehr große Modelle?
Hardware: Welche GPU, TPU oder Softwarebibliothek wurde verwendet?
Einsatzgebiet: Geht es um Training, Inferenz, lange Kontexte oder bestimmte Datentypen?
Reproduzierbarkeit: Gibt es offenen Code, klare Experimente und unabhängige Bestätigungen?

Didaktische Zusammenfassung

State-Space-Modelle sind eine Möglichkeit, Sequenzen über Zustände zu modellieren. Klassische Zustandsraummodelle kommen aus der Systemtheorie und Regelungstechnik. Moderne Structured State Space Models übertragen diese Idee in das Deep Learning. S4 zeigte, dass strukturierte Zustandsräume lange Sequenzen leistungsfähig modellieren können. Mamba ergänzt eine selektive, eingabeabhängige Zustandsaktualisierung. Mamba-2 vertieft die Verbindung zwischen SSMs und Attention über State Space Duality. Dadurch entsteht ein neues Verständnis von neuronalen Netzen als dynamische Systeme, die Informationen über Zeit und Kontext organisieren.

Wissenschaftliche Vertiefung

S4: Efficiently Modeling Long Sequences with Structured State Spaces: Grundlegendes Paper zu S4 und langen Sequenzen.
Mamba: Linear-Time Sequence Modeling with Selective State Spaces: Paper zu Mamba und selektiven State-Space-Modellen.
Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality: Paper zu Mamba-2 und State Space Duality.
state-spaces/mamba: Offene Implementierung der Mamba-Architektur.
State Space Duality Blog von Tri Dao: Didaktische Erklärung zu Mamba-2 und SSD.

Interaktive Aufgaben

Quiz: Teste Dein Wissen

Was beschreibt ein Zustandsraummodell im Kern? (Ein dynamisches System über innere Zustände, Eingaben und Ausgaben) (!Eine reine Bildklassifikation ohne Zeitbezug) (!Eine Datenbankstruktur für Tabellen) (!Eine Methode zur manuellen Textkorrektur)

Welche Größe speichert in einem Zustandsraummodell Informationen über die Vergangenheit? (Der Zustand) (!Der Dateiname) (!Die Bildschirmauflösung) (!Der Zufallsgenerator)

Warum sind State-Space-Modelle für lange Sequenzen interessant? (Sie können Informationen kompakt über einen Zustand weitergeben) (!Sie benötigen immer mehr Speicher als Transformer) (!Sie ignorieren die Reihenfolge der Daten) (!Sie funktionieren nur bei Bildern ohne Zeitbezug)

Was ist eine typische Herausforderung vollständiger Self-Attention bei langen Sequenzen? (Der Rechen- und Speicheraufwand wächst stark mit der Sequenzlänge) (!Sie kann keine Token verarbeiten) (!Sie hat keinen Bezug zu Kontext) (!Sie ist nur für lineare Gleichungen erlaubt)

Wofür steht S4 im Kontext moderner Sequenzmodelle? (Structured State Space Sequence Model) (!Simple Static Sorting System) (!Standard Signal Storage Stack) (!Sequential Symbol Search Scheme)

Was ist die zentrale Idee selektiver State-Space-Modelle wie Mamba? (Parameter können abhängig von der Eingabe angepasst werden) (!Alle Eingaben werden dauerhaft unverändert gespeichert) (!Das Modell verwendet ausschließlich handgeschriebene Regeln) (!Die Sequenzlänge muss immer eins sein)

Welche Frage passt besonders gut zur Denkweise eines State-Space-Modells? (Wie wird der innere Zustand jetzt aktualisiert) (!Welche Farbe hat die Benutzeroberfläche) (!Wie wird ein Bild verlustfrei komprimiert) (!Welche Datei wurde zuletzt geöffnet)

Was verbindet Mamba-2 stärker mit Transformer-Modellen? (State Space Duality) (!Pixelrauschen) (!Tabellenkalkulation) (!Manuelle Annotation)

Welche Aussage ist bei neuen KI-Architekturen besonders wichtig? (Benchmarks und Einsatzkontext müssen kritisch geprüft werden) (!Jede neue Architektur ist automatisch überlegen) (!Modellnamen reichen als Leistungsnachweis aus) (!Rechenkosten sind grundsätzlich unwichtig)

In welchem Bereich können State-Space-Modelle besonders nützlich sein? (Analyse langer Zeitreihen und Sequenzen) (!Drucken von Papierformularen) (!Sortieren von Büchern nach Farbe) (!Ersetzen aller mathematischen Modelle)

Memory

Zustand	Interne Erinnerung eines Systems
Eingabe	Aktuelles Sequenzelement
Ausgabe	Ergebnis des Modells
Selektion	Relevantes behalten und Unwichtiges vergessen
S4	Strukturiertes Sequenzmodell
Mamba	Selektives State-Space-Modell
Attention	Direkte Kontextgewichtung
Langzeitabhängigkeit	Verbindung über viele Schritte

Drag and Drop

Ordne die richtigen Begriffe zu.	Thema
Zustand	Interne Information über die Vergangenheit
Übergang	Aktualisierung von einem Schritt zum nächsten
Eingabe	Neues Element der Sequenz
Ausgabe	Berechnetes Ergebnis des Modells
Selektion	Entscheidung über Behalten oder Vergessen
Skalierung	Wachstum des Aufwands bei längeren Sequenzen

Ordne die Architektur dem Leitgedanken zu.	Thema
RNN	Schrittweise Rekurrenz mit Hidden State
Transformer	Kontextbeziehungen über Attention
S4	Strukturierter Zustandsraum für lange Sequenzen
Mamba	Eingabeabhängige selektive Zustandsaktualisierung
Mamba-2	Verbindung von SSM und Attention über Dualität

Kreuzworträtsel

Zustand	Wie heißt die interne Repräsentation, die Informationen über die Vergangenheit trägt?
Mamba	Welche Architektur nutzt selektive State-Space-Modelle?
Matrix	Welche mathematische Struktur beschreibt häufig Zustandsübergänge?
Token	Wie heißt ein einzelnes Textelement in vielen Sprachmodellen?
Rekurrenz	Wie heißt die schrittweise Rückkopplung in Sequenzmodellen?
Selektion	Wie heißt die Fähigkeit, Wichtiges zu behalten und Unwichtiges zu vergessen?

LearningApps

Lückentext

Ein Zustandsraummodell beschreibt ein dynamisches System über einen inneren

. Die aktuelle

verändert diesen Zustand Schritt für Schritt. Aus dem Zustand kann eine

berechnet werden. Moderne Structured State Space Models nutzen mathematische

, um lange Sequenzen effizienter zu verarbeiten. S4 zeigte, dass Zustandsraummodelle für lange

im Deep Learning leistungsfähig sein können. Mamba erweitert diese Idee durch

, sodass Informationen abhängig vom aktuellen Element behalten oder vergessen werden. Transformer nutzen dagegen vor allem

, um direkte Beziehungen zwischen Token zu berechnen. Mamba-2 verbindet beide Sichtweisen über State Space

.

Offene Aufgaben

Leicht

Begriffslandkarte: Erstelle eine Mindmap zu den Begriffen Zustand, Eingabe, Ausgabe, Übergang, Selektion und Sequenz.
Alltagsmodell: Beschreibe ein Alltagssystem als Zustandsraummodell, zum Beispiel einen Wasserkocher, ein Fahrrad oder Deinen Lernfortschritt.
Sequenzbeispiele: Sammle fünf Beispiele für Sequenzen aus Deinem Alltag und erkläre, warum Reihenfolge dort wichtig ist.
Vergleichssatz: Formuliere in eigenen Worten den Unterschied zwischen Attention und einem Zustand.

Standard

Architekturvergleich: Erstelle eine Tabelle, in der Du RNN, Transformer, S4 und Mamba nach Stärken, Grenzen und typischen Anwendungen vergleichst.
Erklärvideo: Produziere ein kurzes Video oder eine Präsentation, in der Du erklärst, warum lange Sequenzen für KI-Modelle schwierig sind.
Modellskizze: Zeichne ein vereinfachtes State-Space-Modell mit Eingabe, Zustand, Übergang und Ausgabe.
Quellenkritik: Analysiere einen Blogartikel oder ein Paper zu Mamba und prüfe, welche Aussagen durch Benchmarks gestützt werden.

Schwer

Mathematische Modellierung: Übersetze ein einfaches physikalisches System in eine Zustandsraumdarstellung mit Zustandsvektor und Matrizen.
Experiment: Programmiere ein kleines rekurrentes Modell oder eine einfache Zustandsaktualisierung und teste es an einer künstlichen Sequenz.
Forschungsdebatte: Schreibe einen argumentativen Text zur Frage, ob SSMs Transformer in bestimmten Bereichen ergänzen oder ersetzen können.
Transferprojekt: Entwirf ein Konzept für ein KI-System, das lange Sensordaten mit einem State-Space-Modell auswertet, und beschreibe Chancen, Risiken und Evaluationskriterien.

Lernkontrolle

Transferanalyse: Erkläre an einem selbst gewählten Beispiel, warum ein kompakter Zustand bei langen Sequenzen nützlich sein kann.
Architekturbewertung: Entscheide begründet, ob für ein Projekt mit sehr langen Audiodaten eher ein Transformer, ein RNN oder ein State-Space-Modell geeignet wäre.
Benchmarkkritik: Entwickle Kriterien, mit denen Du Werbeaussagen über ein neues KI-Modell kritisch überprüfen kannst.
Modellvergleich: Erkläre, warum ein Transformer und ein State-Space-Modell unterschiedliche Antworten auf das Problem langer Kontexte geben.
Fehleranalyse: Beschreibe mögliche Gründe, warum ein State-Space-Modell bei einer Aufgabe schlechter abschneiden könnte als ein Transformer.
Ethik und Ressourcen: Diskutiere, wie effizientere Sequenzmodelle Energieverbrauch, Zugänglichkeit und gesellschaftliche Nutzung von KI beeinflussen könnten.

Lernnachweis

Für einen guten Lernnachweis zu diesem Thema solltest Du zeigen, dass Du nicht nur Begriffe auswendig kennst, sondern Zusammenhänge erklären und anwenden kannst.

Begriffserklärung: Du erklärst die Begriffe Zustand, Zustandsraum, Eingabe, Ausgabe, Übergang, Attention, Selektion und Skalierung.
Modellverständnis: Du beschreibst, wie ein Zustandsraummodell eine Sequenz Schritt für Schritt verarbeitet.
Vergleichskompetenz: Du vergleichst RNN, Transformer, S4, Mamba und Mamba-2 fachlich korrekt.
Anwendung: Du überträgst die Modellidee auf ein eigenes Beispiel aus Sprache, Audio, Zeitreihen, Robotik oder Genomik.
Kritische Reflexion: Du bewertest Chancen und Grenzen von State-Space-Modellen ohne Hype und mit Blick auf Daten, Hardware und Einsatzkontext.
Produkt: Du erstellst eine eigene Skizze, Präsentation, Simulation, Erklärung oder Analyse, die den Lernfortschritt sichtbar macht.

OERs zum Thema

Links

State-Space-Modelle

aiMOOC-Projekte

Schulfach+

Prüfungsliteratur 2026
Bundesland	Bücher	Kurzbeschreibung
Baden-Württemberg	Abitur Der zerbrochne Krug - Heinrich von Kleist Heimsuchung - Jenny Erpenbeck Mittlere Reife Der Markisenmann - Jan Weiler oder Als die Welt uns gehörte - Liz Kessler Ein Schatten wie ein Leopard - Myron Levoy oder Pampa Blues - Rolf Lappert	Abitur Dorfrichter-Komödie über Wahrheit/Schuld; Roman über einen Ort und deutsche Geschichte. Mittlere Reife Wahllektüren (Roadtrip-Vater-Sohn / Jugendroman im NS-Kontext / Coming-of-age / Provinzroman).
Bayern	Abitur Der zerbrochne Krug - Heinrich von Kleist Heimsuchung - Jenny Erpenbeck	Abitur Lustspiel über Machtmissbrauch und Recht; Roman als Zeitschnitt deutscher Geschichte an einem Haus/Grundstück.
Berlin/Brandenburg	Abitur Der zerbrochne Krug - Heinrich von Kleist Woyzeck - Georg Büchner Der Biberpelz - Gerhart Hauptmann Heimsuchung - Jenny Erpenbeck	Abitur Gerichtskomödie; soziales Drama um Ausbeutung/Armut; Komödie/Satire um Diebstahl und Obrigkeit; Roman über Erinnerungsräume und Umbrüche.
Bremen	Abitur Nach Mitternacht - Irmgard Keun Mario und der Zauberer - Thomas Mann Emilia Galotti - Gotthold Ephraim Lessing oder Miss Sara Sampson - Gotthold Ephraim Lessing	Abitur Roman in der NS-Zeit (Alltag, Anpassung, Angst); Novelle über Verführung/Massenpsychologie; bürgerliche Trauerspiele (Moral, Macht, Stand).
Hamburg	Abitur Der zerbrochne Krug - Heinrich von Kleist Das kunstseidene Mädchen - Irmgard Keun	Abitur Justiz-/Machtkritik als Komödie; Großstadtroman der Weimarer Zeit (Rollenbilder, Aufstiegsträume, soziale Realität).
Hessen	Abitur Der zerbrochne Krug - Heinrich von Kleist Woyzeck - Georg Büchner Heimsuchung - Jenny Erpenbeck Der Prozess - Franz Kafka	Abitur Gerichtskomödie; Fragmentdrama über Gewalt/Entmenschlichung; Erinnerungsroman über deutsche Brüche; moderner Roman über Schuld, Macht und Bürokratie.
Niedersachsen	Abitur Der zerbrochene Krug - Heinrich von Kleist Das kunstseidene Mädchen - Irmgard Keun Die Marquise von O. - Heinrich von Kleist Über das Marionettentheater - Heinrich von Kleist	Abitur Schwerpunkt auf Drama/Roman sowie Kleist-Prosatext und Essay (Ehre, Gewalt, Unschuld; Ästhetik/„Anmut“).
Nordrhein-Westfalen	Abitur Der zerbrochne Krug - Heinrich von Kleist Heimsuchung - Jenny Erpenbeck	Abitur Komödie über Wahrheit und Autorität; Roman als literarische „Geschichtsschichtung“ an einem Ort.
Saarland	Abitur Heimsuchung - Jenny Erpenbeck Furor - Lutz Hübner und Sarah Nemitz Bahnwärter Thiel - Gerhart Hauptmann	Abitur Erinnerungsroman an einem Ort; zeitgenössisches Drama über Eskalation/Populismus; naturalistische Novelle (Pflicht/Überforderung/Abgrund).
Sachsen (berufliches Gymnasium)	Abitur Der zerbrochne Krug - Heinrich von Kleist Woyzeck - Georg Büchner Irrungen, Wirrungen - Theodor Fontane Der gute Mensch von Sezuan - Bertolt Brecht Heimsuchung - Jenny Erpenbeck Der Trafikant - Robert Seethaler	Abitur Mischung aus Klassiker-Drama, sozialem Drama, realistischem Roman, epischem Theater und Gegenwarts-/Erinnerungsroman; zusätzlich Coming-of-age im historischen Kontext.
Sachsen-Anhalt	Abitur (keine fest benannte landesweite Pflichtlektüre veröffentlicht; Themenfelder)	Abitur Schwerpunktsetzung über Themenfelder (u. a. Literatur um 1900; Sprache in politisch-gesellschaftlichen Kontexten), ohne feste Einzeltitel.
Schleswig-Holstein	Abitur Der zerbrochne Krug - Heinrich von Kleist Heimsuchung - Jenny Erpenbeck	Abitur Recht/Gerechtigkeit und historische Tiefenschichten eines Ortes – umgesetzt über Drama und Gegenwartsroman.
Thüringen	Abitur (keine fest benannte landesweite Pflichtlektüre veröffentlicht; Orientierung am gemeinsamen Aufgabenpool)	Abitur In der Praxis häufig Orientierung am gemeinsamen Aufgabenpool; landesweite Einzeltitel je nach Vorgabe/Handreichung nicht einheitlich ausgewiesen.
Mecklenburg-Vorpommern	Abitur (Quelle aktuell technisch nicht abrufbar; Beteiligung am gemeinsamen Aufgabenpool bekannt)	Abitur Land beteiligt sich am länderübergreifenden Aufgabenpool; konkrete, veröffentlichte Einzeltitel konnten hier nicht ausgelesen werden.
Rheinland-Pfalz	Abitur (keine landesweit einheitliche Pflichtlektüre; schulische Auswahl)	Abitur Keine landesweite Einheitsliste; Auswahl kann schul-/kursbezogen erfolgen.