Glanz: aiMOOC über GPT aiMOOC Action erstellt

2026-07-06T16:54:02Z

aiMOOC über GPT aiMOOC Action erstellt

Neue Seite

{{T}}

{{BR}}
= Einleitung =

'''Selektive [[Zustandsraummodelle]]''' gehören zu den spannendsten Entwicklungen in der modernen [[Künstliche Intelligenz|Künstlichen Intelligenz]]. Sie verbinden Ideen aus der [[Systemtheorie]], der [[Regelungstechnik]], der [[Signalverarbeitung]] und dem [[Deep Learning]]. Besonders bekannt wurden sie durch Architekturen wie '''[[Mamba]]''', die als Alternative oder Ergänzung zu [[Transformer (Maschinelles Lernen)|Transformern]] diskutiert werden. Während Transformer mit [[Self-Attention]] sehr erfolgreich darin sind, Beziehungen zwischen vielen [[Token]] direkt zu modellieren, stoßen sie bei sehr langen Sequenzen an Rechen- und Speichergrenzen. Selektive Zustandsraummodelle setzen dagegen auf einen fortgeschriebenen inneren [[Zustand]], der relevante Informationen speichert, irrelevante Informationen abschwächen kann und dadurch lange Sequenzen effizient verarbeitet.

{{#ev:youtube|https://www.youtube.com/watch?v=xioUiS678P0|500|center}}

Der Titel '''„Neuronale Netze neu denken“''' passt gut zu diesem Thema, weil selektive Zustandsraummodelle nicht einfach eine weitere Schicht in einem bekannten [[Neuronales Netz|neuronalen Netz]] sind. Sie verschieben die Leitfrage: Statt bei jeder Verarbeitung alle Elemente einer Sequenz direkt miteinander zu vergleichen, fragt das Modell, welche Information im laufenden [[Gedächtnis]] bleiben soll, welche vergessen werden darf und wie stark der aktuelle Input den Zustand verändert. Damit berühren diese Modelle eine Grundfrage der [[Sequenzverarbeitung]]: Wie kann ein System über viele Schritte hinweg sinnvoll erinnern, ohne bei jedem Schritt alles neu zu berechnen?

[[Datei:Typical State Space model.svg|500px|rahmenlos|center]]

{{BR}}
= Lernziele =

Nach diesem aiMOOC kannst Du erklären, was ein [[Zustandsraum]] ist, wie klassische [[Zustandsraumdarstellung|Zustandsraumdarstellungen]] funktionieren und warum sie für [[Sequenzmodellierung]] im [[Maschinelles Lernen|Maschinellen Lernen]] interessant sind. Du kannst [[Rekurrentes neuronales Netz|rekurrente neuronale Netze]], [[Transformer (Maschinelles Lernen)|Transformer]] und selektive [[State Space Model|State-Space-Modelle]] vergleichen. Außerdem lernst Du, warum '''Selektivität''' in Modellen wie [[Mamba]] eine zentrale Rolle spielt, welche Chancen sich für lange Kontexte ergeben und welche Grenzen weiterhin wissenschaftlich untersucht werden.

{{BR}}
= Fachliche Einordnung =

{{BR}}
== Warum Sequenzverarbeitung schwierig ist ==

Viele Daten liegen als [[Sequenz]] vor. Ein Satz besteht aus Wörtern oder [[Token]] in einer Reihenfolge. Ein Audiosignal besteht aus Messwerten über die Zeit. Ein [[Genom]] besteht aus einer langen Folge biologischer Zeichen. Auch [[Zeitreihe|Zeitreihen]] in Medizin, Wirtschaft, Technik oder Klima können als Sequenzen verstanden werden. Die Schwierigkeit besteht darin, dass ein aktuelles Element oft nur im Zusammenhang mit früheren Elementen sinnvoll interpretierbar ist.

Ein Beispiel: Im Satz „Die Forscherin, die gestern den Vortrag hielt, erklärt das Modell“ muss ein Sprachmodell über mehrere Wörter hinweg erkennen, worauf sich „erklärt“ bezieht. Bei sehr langen Texten, Audiosignalen oder Genomsequenzen wird diese Aufgabe noch anspruchsvoller. Das Modell braucht ein [[Gedächtnis]], aber dieses Gedächtnis darf nicht beliebig groß und langsam werden.

[[Datei:Recurrent neural network unfold.svg|500px|rahmenlos|center]]

{{BR}}
== Klassische Idee: Zustandsraum ==

Ein [[Zustandsraum]] beschreibt ein System über innere Zustände. In der [[Systemtheorie]] bedeutet ein Zustand, dass wichtige Informationen über die Vergangenheit in einer kompakten Form gespeichert werden. Ein einfaches diskretes Zustandsraummodell kann gedanklich so beschrieben werden:

# [[Zustand]]: Der innere Speicher des Systems fasst relevante Vergangenheit zusammen.
# [[Eingabe]]: Ein neues Signal oder Token beeinflusst den Zustand.
# [[Übergang]]: Eine Regel aktualisiert den Zustand.
# [[Ausgabe]]: Aus dem Zustand wird eine Vorhersage oder Reaktion erzeugt.

In vereinfachter Schreibweise kann man sich dies so vorstellen: Der neue Zustand entsteht aus altem Zustand und aktueller Eingabe. Die Ausgabe entsteht aus dem neuen Zustand. Entscheidend ist: Das Modell muss nicht die gesamte Vergangenheit speichern, sondern eine lernbare Zusammenfassung.

{{BR}}
== Von RNNs zu strukturierten State-Space-Modellen ==

[[Rekurrentes neuronales Netz|Rekurrente neuronale Netze]] verarbeiten Sequenzen Schritt für Schritt. Sie besitzen ebenfalls einen verborgenen Zustand, der von Zeitschritt zu Zeitschritt weitergegeben wird. Ihre Stärke liegt in der natürlichen Verarbeitung zeitlicher Abläufe. Ihre Schwäche liegt darin, dass lange Abhängigkeiten schwer zu lernen sein können und das Training oft weniger gut parallelisierbar ist als bei Transformern.

[[Transformer (Maschinelles Lernen)|Transformer]] umgehen viele dieser Probleme durch [[Attention]]. Dadurch kann jedes Token direkt Informationen aus anderen Tokens beziehen. Das ist leistungsfähig, aber die klassische Self-Attention wächst bei langen Sequenzen rechnerisch ungünstig, weil viele Token-zu-Token-Beziehungen betrachtet werden müssen.

[[Structured State Space Model|Strukturierte State-Space-Modelle]] wie [[S4]] griffen die Zustandsraumidee neu auf. Sie nutzen mathematische Struktur, damit lange Sequenzen effizient verarbeitet werden können. Ein zentrales Ziel besteht darin, die Vorteile von rekurrenten Modellen, Faltungsmodellen und kontinuierlichen dynamischen Systemen zu verbinden.

{{#ev:youtube|https://www.youtube.com/watch?v=QJHA-PY8zDc|500|center}}

{{BR}}
== Was macht selektive Zustandsraummodelle selektiv? ==

Klassische lineare Zustandsraummodelle verwenden oft feste Übergangsregeln. In der Sprache moderner Sequenzmodelle heißt das: Das System behandelt jeden Zeitschritt nach derselben Grunddynamik. Für kontinuierliche Signale wie Audio oder Messreihen kann das sehr sinnvoll sein. Für Sprache, Code oder andere diskrete Daten reicht es aber oft nicht aus, jedes Element mit gleichartiger Dynamik zu verarbeiten.

'''Selektive Zustandsraummodelle''' ändern diese Idee. Sie machen wichtige Modellgrößen abhängig vom aktuellen Input. Das Modell lernt also, ob ein Token stark gespeichert, schnell vergessen oder nur schwach weitergegeben werden soll. In vereinfachter Form bedeutet Selektivität:

# [[Eingabeabhängigkeit]]: Das aktuelle Token beeinflusst die Aktualisierung des Zustands.
# [[Informationsfilter]]: Relevante Informationen werden bevorzugt weitergetragen.
# [[Vergessen]]: Unwichtige oder störende Informationen können abgeschwächt werden.
# [[Adaptivität]]: Die Dynamik ist nicht starr, sondern passt sich an den Inhalt an.

Bei [[Mamba]] betrifft diese Selektivität insbesondere Größen wie die Schrittweite und Ein- beziehungsweise Ausgabekopplungen des Zustandsmodells. Das ist wichtig, weil Sprache und andere symbolische Sequenzen oft unregelmäßig sind: Ein einzelnes Wort kann sehr wichtig sein, ein anderes fast bedeutungslos.

{{BR}}
== Mamba als Beispielarchitektur ==

'''[[Mamba]]''' ist eine Architektur für [[Sequenzmodellierung]], die auf selektiven [[State Space Model|State-Space-Modellen]] basiert. Die Grundidee lautet: Ein Modell soll lange Sequenzen mit linearer Skalierung verarbeiten können und trotzdem inhaltlich entscheiden, welche Informationen relevant sind. Dafür kombiniert Mamba drei Kernideen:

# [[Selektiver Scan]]: Die Zustandsaktualisierung wird so organisiert, dass sie in der Inferenz rekurrent arbeitet, aber auf moderner Hardware effizient berechnet werden kann.
# [[Hardwarebeschleunigung]]: Die Berechnung ist auf [[GPU|Grafikprozessoren]] und parallele Verarbeitung abgestimmt.
# [[Vereinfachte Architektur]]: Statt viele unterschiedliche Bausteine wie Attention und große [[Multilayer Perceptron|MLP-Blöcke]] zu kombinieren, rückt der selektive Zustandsraumblock ins Zentrum.

Mamba ist deshalb nicht einfach „ein RNN mit neuem Namen“. Es ist auch nicht nur „ein Transformer ohne Attention“. Es ist ein Versuch, die mathematische Idee dynamischer Systeme mit den Anforderungen moderner [[Foundation Model|Foundation Models]] zu verbinden.

[[Datei:Artificial neural network.svg|500px|rahmenlos|center]]

{{BR}}
== Transformer, RNN und selektive SSMs im Vergleich ==

{| class="wikitable"
! Modellfamilie
! Grundidee
! Stärke
! Herausforderung
|-
| [[Rekurrentes neuronales Netz|RNN]]
| Schrittweise Verarbeitung mit verborgenem Zustand
| Natürliche Modellierung von Zeit und Reihenfolge
| Lange Abhängigkeiten und Parallelisierung
|-
| [[Transformer (Maschinelles Lernen)|Transformer]]
| Direkte Beziehungen zwischen Tokens durch [[Attention]]
| Sehr starke Kontextmodellierung
| Hoher Aufwand bei langen Sequenzen
|-
| [[Structured State Space Model|Strukturiertes SSM]]
| Dynamischer Zustand mit mathemischer Struktur
| Effiziente lange Sequenzen
| Inhaltliche Auswahl bei diskreten Daten
|-
| [[Mamba]]
| Selektives SSM mit inputabhängiger Dynamik
| Lineare Sequenzskalierung und adaptives Gedächtnis
| Forschungsfragen zu Skalierung, Interpretierbarkeit und Robustheit
|}

{{BR}}
== Warum lineare Skalierung wichtig ist ==

Bei langen Sequenzen zählt nicht nur, wie gut ein Modell ist, sondern auch, wie viel [[Rechenzeit]], [[Speicherbedarf]] und [[Energie]] es benötigt. Klassische Self-Attention betrachtet viele paarweise Beziehungen zwischen Tokens. Wenn die Sequenz sehr lang wird, wächst der Aufwand stark. Selektive Zustandsraummodelle versuchen, den Aufwand näher an die Länge der Sequenz zu koppeln: Wenn die Sequenz doppelt so lang wird, soll der Aufwand idealerweise ungefähr doppelt so groß werden, nicht viermal so groß.

Das ist für viele Bereiche wichtig:

# [[Large Language Model|Sprachmodelle]]: Lange Dokumente, Bücher, Codebasen oder Gesprächsverläufe.
# [[Audioverarbeitung]]: Lange Audiosignale mit hoher Abtastrate.
# [[Genomik]]: Sehr lange biologische Sequenzen.
# [[Zeitreihenanalyse]]: Sensorwerte, Finanzdaten, medizinische Messreihen oder Klimadaten.
# [[Robotik]]: Kontinuierliche Steuerung und Wahrnehmung über Zeit.

{{BR}}
== Structured State Space Duality und Mamba-2 ==

Ein weiterer Schritt ist die Idee der '''[[Structured State Space Duality]]'''. Sie untersucht mathematische Verbindungen zwischen [[State Space Model|SSMs]] und [[Attention]]. Besonders [[Mamba-2]] nutzt diese Perspektive. Die Grundidee ist nicht, dass Transformer und SSMs identisch sind, sondern dass bestimmte strukturierte Formen von Attention und bestimmte Zustandsraummodelle über gemeinsame mathematische Strukturen beschrieben werden können. Dadurch lassen sich algorithmische und hardwarebezogene Optimierungen besser übertragen.

Für Lernende ist diese Entwicklung wichtig, weil sie zeigt: Die Zukunft neuronaler Netze besteht wahrscheinlich nicht nur aus „Transformer oder nicht Transformer“. Vielmehr entstehen hybride Denkweisen, die [[Rekurrenz]], [[Attention]], [[Faltung]], [[Zustandsraum]] und [[Hardware]] gemeinsam betrachten.

[[Datei:Transformer, full architecture.png|500px|rahmenlos|center]]

{{BR}}
== Chancen und Grenzen ==

Selektive Zustandsraummodelle eröffnen neue Möglichkeiten für lange Sequenzen, effiziente Inferenz und alternative Architekturen. Sie sind besonders interessant, wenn Modelle mit langen Kontexten arbeiten sollen, ohne dass Speicher und Rechenkosten explodieren. Dennoch sind sie kein Wundermittel. Transformer sind weiterhin sehr stark, besonders bei Aufgaben, in denen direkte Token-zu-Token-Beziehungen entscheidend sind. Außerdem müssen selektive SSMs in vielen Bereichen noch sorgfältig evaluiert werden: Wie robust sind sie? Wie gut lassen sie sich erklären? Welche Aufgaben profitieren wirklich? Wie verhalten sie sich bei sehr großen Modellen?

Ein professioneller Blick auf das Thema vermeidet daher zwei Extreme. Es wäre falsch, selektive Zustandsraummodelle als bloßen Hype abzutun. Ebenso wäre es falsch, sie als sicheren Ersatz für alle Transformer zu präsentieren. Sinnvoll ist eine forschende Haltung: Diese Modelle erweitern den Werkzeugkasten des [[Deep Learning]] und laden dazu ein, neuronale Netze neu zu denken.

{{BR}}
= Vertiefung: Zentrale Begriffe =

{{BR}}
== Zustand ==

Der [[Zustand]] ist eine verdichtete Darstellung der Vergangenheit. Er enthält nicht alle früheren Eingaben vollständig, sondern eine lernbare Zusammenfassung. In einem guten Modell speichert der Zustand genau die Informationen, die für spätere Vorhersagen nützlich sind.

{{BR}}
== Selektivität ==

[[Selektivität]] bedeutet, dass das Modell abhängig vom aktuellen Input entscheidet, was gespeichert, verändert oder vergessen wird. Bei Sprache kann beispielsweise ein Schlüsselwort den Zustand stark beeinflussen, während ein Füllwort kaum langfristige Wirkung hat.

{{BR}}
== Scan ==

Ein [[Scan (Algorithmus)|Scan]] ist ein Verfahren, bei dem eine Folge schrittweise verarbeitet wird. Im Kontext von Mamba ist besonders wichtig, dass diese Berechnung hardwarefreundlich organisiert werden kann. Dadurch wird aus einer rekurrent wirkenden Berechnung ein effizient ausführbarer Algorithmus.

{{BR}}
== Token ==

Ein [[Token]] ist ein Verarbeitungselement einer Sequenz. In Sprachmodellen kann ein Token ein Wort, ein Wortteil, ein Zeichen oder ein spezielles Symbol sein. Für das Modell ist die Reihenfolge der Token entscheidend.

{{BR}}
== Attention ==

[[Attention]] ist ein Mechanismus, mit dem ein Modell gewichtet auf andere Elemente einer Sequenz zugreifen kann. Transformer nutzen Self-Attention, damit jedes Token Informationen aus anderen Tokens berücksichtigen kann. Selektive Zustandsraummodelle verfolgen einen anderen Ansatz: Sie tragen Informationen über einen dynamischen Zustand weiter.

{{BR}}
= Wissenschaftliche Quellen und OER-Hinweise =

# [[Mamba]]: [https://arxiv.org/abs/2312.00752 Mamba: Linear-Time Sequence Modeling with Selective State Spaces]
# [[S4]]: [https://arxiv.org/abs/2111.00396 Efficiently Modeling Long Sequences with Structured State Spaces]
# [[Structured State Space Duality]]: [https://arxiv.org/abs/2405.21060 Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality]
# [[Zustandsraumdarstellung]]: [https://de.wikipedia.org/wiki/Zustandsraumdarstellung Wikipedia-Artikel zur Zustandsraumdarstellung]
# [[Transformer (Maschinelles Lernen)]]: [https://de.wikipedia.org/wiki/Transformer_(Maschinelles_Lernen) Wikipedia-Artikel zum Transformer]
# [[Rekurrentes neuronales Netz]]: [https://de.wikipedia.org/wiki/Rekurrentes_neuronales_Netz Wikipedia-Artikel zu rekurrenten neuronalen Netzen]

{{#ev:youtube|https://www.youtube.com/watch?v=OpJMn8T7Z34|500|center}}

{{BR}}
= Interaktive Aufgaben =

{{BR}}
== Quiz: Teste Dein Wissen ==

{{MC}}

'''Was ist die Grundidee eines Zustandsraummodells?'''
(Ein innerer Zustand fasst relevante Vergangenheit zusammen)
(!Alle Eingaben werden ohne Speicher einzeln betrachtet)
(!Jedes Token wird zufällig gelöscht)
(!Das Modell verzichtet vollständig auf Parameter)

{{E}}
<br>

{{MC}}

'''Was macht ein selektives Zustandsraummodell selektiv?'''
(Die Zustandsaktualisierung hängt vom aktuellen Input ab)
(!Es verarbeitet nur ausgewählte Datensätze)
(!Es nutzt ausschließlich Bilder)
(!Es arbeitet ohne Training)

{{E}}
<br>

{{MC}}

'''Warum werden Transformer bei sehr langen Sequenzen rechnerisch anspruchsvoll?'''
(Self-Attention betrachtet viele Beziehungen zwischen Tokens)
(!Transformer können keine Wörter verarbeiten)
(!Transformer besitzen keinen Lernprozess)
(!Transformer speichern nur ein einziges Zeichen)

{{E}}
<br>

{{MC}}

'''Welche Architektur machte selektive State-Space-Modelle besonders bekannt?'''
(Mamba)
(!Perzeptron)
(!Naive Bayes)
(!k-Means)

{{E}}
<br>

{{MC}}

'''Welche Rolle spielt der verborgene Zustand in einem Sequenzmodell?'''
(Er speichert eine verdichtete Information über frühere Schritte)
(!Er ersetzt alle Trainingsdaten dauerhaft)
(!Er verhindert jede Ausgabe)
(!Er ist immer identisch mit dem letzten Token)

{{E}}
<br>

{{MC}}

'''Was ist ein Vorteil linear skalierender Sequenzmodelle?'''
(Sie können lange Sequenzen effizienter verarbeiten)
(!Sie liefern immer perfekte Antworten)
(!Sie benötigen keine Daten)
(!Sie funktionieren nur bei sehr kurzen Sätzen)

{{E}}
<br>

{{MC}}

'''Was beschreibt ein Token in der Sequenzverarbeitung?'''
(Ein Verarbeitungselement innerhalb einer Folge)
(!Eine Grafikkarte im Rechenzentrum)
(!Eine feste mathematische Konstante)
(!Ein Fehler im Trainingsprozess)

{{E}}
<br>

{{MC}}

'''Worin unterscheiden sich selektive SSMs von starren linearen SSMs?'''
(Sie können wichtige Modellgrößen eingabeabhängig anpassen)
(!Sie haben grundsätzlich keine Zustände)
(!Sie können keine Zeitreihen verarbeiten)
(!Sie bestehen nur aus Tabellen)

{{E}}
<br>

{{MC}}

'''Welche Aussage zu Mamba-2 und Structured State Space Duality ist zutreffend?'''
(Sie untersucht Verbindungen zwischen SSMs und Attention)
(!Sie verbietet jede Form von Parallelisierung)
(!Sie ersetzt Daten durch Zufallszahlen)
(!Sie ist ein Verfahren zur Bildkompression ohne Sequenzen)

{{E}}
<br>

{{MC}}

'''Welche Haltung ist wissenschaftlich angemessen?'''
(Selektive Zustandsraummodelle sind vielversprechend, aber weiter zu prüfen)
(!Selektive Zustandsraummodelle lösen automatisch jedes KI-Problem)
(!Transformer sind seit ihrer Erfindung bedeutungslos)
(!Evaluation ist bei neuronalen Netzen unnötig)

{{E}}
<br>

{{BR}}
== Memory ==

<div class="memo-quiz">
{|
|-
| Zustand || Gedächtnis
|-
| Selektivität || Eingabeabhängigkeit
|-
| Transformer || Attention
|-
| Mamba || Selective Scan
|-
| Sequenz || Reihenfolge
|-
| GPU || Parallelisierung
|}
{{E}}
<br>

{{BR}}
== Drag and Drop ==

<div class="lueckentext-quiz">

{| class="wikitable"
! Ordne die richtigen Begriffe zu.
! Thema
|-
| '''Token'''
| kleinstes Eingabeelement
|-
| '''Zustand'''
| verdichtete Vergangenheit
|-
| '''Selektivität'''
| inhaltsabhängige Auswahl
|-
| '''Attention'''
| direkte Gewichtung anderer Elemente
|-
| '''Scan'''
| schrittweise Verarbeitung einer Folge
|-
| '''Mamba'''
| Architektur mit selektivem Zustandsraum

|}
{{E}}

<br>
<br />

{{BR}}
== Kreuzworträtsel ==

<div class="kreuzwort-quiz">
{|
|-
| Zustand || Wie heißt die interne Zusammenfassung früherer Informationen?
|-
| Mamba || Welche Architektur nutzt selektive Zustandsräume als Kernidee?
|-
| Token || Wie heißt ein kleinstes verarbeitetes Element einer Sequenz?
|-
| Sequenz || Wie heißt eine geordnete Folge von Elementen?
|-
| Kernel || Wie nennt man häufig eine optimierte Rechenroutine auf der GPU?
|-
| Attention || Welcher Mechanismus macht Transformer besonders bekannt?
|}
{{E}}
<br>

{{BR}}
== LearningApps ==

<iframe> https://learningapps.org/index.php?s=Selektive+Zustandsraummodelle+Neuronale+Netze+neu+denken </iframe>

{{BR}}
== Lückentext ==

<quiz display=simple>
{'''Vervollständige den Text.'''<br>
|type="{}"}
Selektive Zustandsraummodelle verarbeiten Sequenzen, indem sie einen verborgenen { Zustand } fortschreiben. Die Architektur { Mamba } machte diese Modellfamilie besonders bekannt. Im Unterschied zu starren Modellen passt ein selektives SSM wichtige Größen an den aktuellen { Input } an. Transformer nutzen für Kontextbeziehungen vor allem { Attention }. Bei langen Sequenzen kann lineare Skalierung helfen, den { Rechenaufwand } zu begrenzen. Ein Token ist ein einzelnes Verarbeitungselement innerhalb einer { Sequenz }. Die Zustandsraumidee stammt ursprünglich aus der Beschreibung dynamischer { Systeme }. Ein wissenschaftlicher Vergleich muss Leistung, Speicherbedarf und { Robustheit } gemeinsam betrachten.
</quiz>

<br>

{{BR}}
= Offene Aufgaben =

{{BR}}
=== Leicht ===

# [[Begriffskarte]]: Erstelle eine Begriffskarte zu [[Zustand]], [[Token]], [[Sequenz]], [[Attention]] und [[Selektivität]] und erkläre jeden Begriff in einem eigenen Beispielsatz.
# [[Alltagsvergleich]]: Vergleiche ein selektives Zustandsraummodell mit einem Notizbuch, in dem nur wichtige Informationen stehen bleiben. Beschreibe, was gespeichert und was vergessen würde.
# [[Sequenzbeispiel]]: Nimm einen kurzen Satz und markiere, welche Wörter für das Verständnis späterer Wörter wichtig sind.
# [[Modellvergleich]]: Zeichne eine einfache Skizze, die [[RNN]], [[Transformer]] und [[Mamba]] nebeneinander zeigt.

{{BR}}
=== Standard ===

# [[Erklärvideo]]: Produziere ein kurzes Video, in dem Du die Idee eines [[Zustandsraum|Zustandsraums]] ohne Formeln erklärst.
# [[Konzeptvergleich]]: Erstelle eine Tabelle, in der Du [[Attention]] und selektives [[Gedächtnis]] vergleichst.
# [[Rechercheauftrag]]: Lies die Zusammenfassung des Mamba-Papers und fasse in eigenen Worten zusammen, welches Problem gelöst werden soll.
# [[Datenanalyse]]: Wähle eine [[Zeitreihe]] aus dem Alltag und beschreibe, welche Informationen ein Modell langfristig speichern müsste.

{{BR}}
=== Schwer ===

# [[Forschungsessay]]: Diskutiere, ob selektive Zustandsraummodelle Transformer ersetzen, ergänzen oder nur in bestimmten Bereichen verbessern können.
# [[Mathematisches Modell]]: Formuliere ein vereinfachtes Zustandsupdate mit altem Zustand, aktueller Eingabe und Ausgabe und erkläre jeden Bestandteil.
# [[Kritische Evaluation]]: Entwickle Kriterien, mit denen man Mamba, Transformer und RNN fair vergleichen kann.
# [[Projektentwurf]]: Plane ein Experiment, bei dem lange Dokumente oder lange Zeitreihen mit zwei Modellfamilien verglichen werden.

{{:Offene Aufgabe - MOOC erstellen}}

{{BR}}
= Lernkontrolle =

# [[Transferaufgabe Sequenzmodellierung]]: Erkläre an einem selbstgewählten Beispiel, warum ein Modell nicht alle früheren Informationen vollständig speichern muss, sondern eine sinnvolle Verdichtung benötigt.
# [[Vergleichsargumentation]]: Begründe, in welchem Szenario ein Transformer trotz höherer Kosten sinnvoller sein könnte als ein selektives Zustandsraummodell.
# [[Modellkritik]]: Analysiere, warum lineare Skalierung allein kein ausreichender Beleg für ein besseres Modell ist.
# [[Anwendungsentscheidung]]: Entscheide für die Bereiche [[Audioverarbeitung]], [[Genomik]], [[Chatbot]] und [[Robotik]], wo selektive SSMs besonders interessant sein könnten, und begründe Deine Wahl.
# [[Ethische Reflexion]]: Diskutiere, warum effizientere KI-Modelle sowohl ökologische Vorteile als auch neue Risiken durch breitere Anwendung haben können.
# [[Forschungsdesign]]: Entwirf einen Test, der nicht nur Genauigkeit, sondern auch Speicherbedarf, Geschwindigkeit und Robustheit bewertet.

<br>
<br>

{{BR}}
= Lernnachweis =

Für einen überzeugenden Lernnachweis zu '''Selektiven Zustandsraummodellen''' solltest Du zeigen, dass Du nicht nur Begriffe wiedergeben kannst, sondern Zusammenhänge verstehst. Wichtig sind:

# [[Fachbegriffe]]: Du verwendest Begriffe wie [[Zustand]], [[Sequenz]], [[Token]], [[Attention]], [[Selektivität]] und [[Zustandsraum]] korrekt.
# [[Vergleichskompetenz]]: Du kannst [[RNN]], [[Transformer]] und selektive [[State Space Model|SSMs]] begründet vergleichen.
# [[Anwendungsbezug]]: Du erklärst, für welche Aufgaben lange Kontexte und effiziente Verarbeitung wichtig sind.
# [[Kritisches Denken]]: Du beschreibst Chancen und Grenzen ohne übertriebene Heilsversprechen.
# [[Transferleistung]]: Du überträgst die Modellidee auf ein eigenes Beispiel aus Sprache, Audio, Technik, Biologie oder Alltag.
# [[Darstellungskompetenz]]: Du kannst die Grundidee in Text, Skizze, Tabelle oder Präsentation verständlich darstellen.

<br>
<br>

{{BR}}
= OERs zum Thema =

<iframe> https://de.m.wikipedia.org/wiki/Zustandsraumdarstellung </iframe>

<iframe> https://de.m.wikipedia.org/wiki/Transformer_(Maschinelles_Lernen) </iframe>

<iframe> https://de.m.wikipedia.org/wiki/Rekurrentes_neuronales_Netz </iframe>

<iframe> https://en.m.wikipedia.org/wiki/Mamba_(deep_learning_architecture) </iframe>

<br>

{{BR}}
= Links =

{| align=center
{{:D-Tab}}
'''[[Selektive Zustandsraummodelle]]'''
# [[Zustandsraumdarstellung]]
# [[Zustandsgröße]]
# [[Systemtheorie]]
# [[Regelungstechnik]]
# [[Sequenzmodellierung]]
# [[Rekurrentes neuronales Netz]]
# [[Transformer (Maschinelles Lernen)]]
# [[Attention]]
# [[Deep Learning]]
# [[Maschinelles Lernen]]
# [[Large Language Model]]
# [[Mamba]]
# [[GPU]]
|}

[[Kategorie:Informatik]]
[[Kategorie:Künstliche Intelligenz]]
[[Kategorie:Maschinelles Lernen]]
[[Kategorie:Deep Learning]]
[[Kategorie:Neuronale Netze]]
[[Kategorie:Systemtheorie]]
[[Kategorie:Mathematik]]
[[Kategorie:Medienbildung]]
[[Kategorie:Sekundarstufe II]]
[[Kategorie:Hochschule]]
[[Kategorie:Studium]]
[[Kategorie:OER]]
[[Kategorie:Video]]
[[Kategorie:aiMOOC]]

{{BR}}
= aiMOOC-Projekte =
[[Kategorie:AI_MOOC]] [[Kategorie:GPT aiMOOC]]
{{MT}}

Selektive Zustandsraummodelle - Neuronale Netze neu denken - Versionsgeschichte

Glanz: aiMOOC über GPT aiMOOC Action erstellt