Test-Time Adaptation - Neuronale Netze neu denken


Test-Time Adaptation - Neuronale Netze neu denken
Einleitung
{{#ev:youtube|https://www.youtube.com/watch?v=AxuU4cY9L40%7C500%7Ccenter}}
Test-Time Adaptation bedeutet, dass ein bereits trainiertes Modell während der Inferenz noch einmal vorsichtig an neue, meist ungelabelte Testdaten angepasst wird. Der Gedanke dahinter ist einfach und zugleich grundlegend: Ein künstliches neuronales Netz soll nicht nur im Trainingslabor gut funktionieren, sondern auch dann, wenn sich die reale Welt verändert. Solche Veränderungen nennt man Verteilungsverschiebungen oder englisch Distribution Shifts.
Viele neuronale Netze werden mit großen Datensätzen trainiert. Beim Einsatz in der Praxis treffen sie aber oft auf andere Bedingungen: andere Kameras, anderes Licht, neue Schreibstile, veränderte Sprache, andere Sensoren, andere Bevölkerungsgruppen, neue Geräte oder unerwartete Störungen. Genau an dieser Stelle setzt Test-Time Adaptation an. Das Modell soll während des Tests lernen, ohne dass für die neuen Daten unbedingt fertige Label vorliegen.

Dieser aiMOOC hilft Dir, Test-Time Adaptation als Zukunftsthema der Künstlichen Intelligenz zu verstehen. Du lernst, warum klassische neuronale Netze bei Verteilungsverschiebungen scheitern können, wie Anpassung zur Testzeit funktioniert, welche Methoden es gibt und warum dieses Thema für Computer Vision, Robotik, Medizinische Informatik, Sprachmodelle und sicherheitskritische Systeme wichtig ist.
Lernziele
Nach diesem aiMOOC kannst Du erklären, was Test-Time Adaptation ist, warum sie bei Distribution Shifts relevant wird und worin sie sich von Training, Fine-Tuning, Transfer Learning, Domain Adaptation und Test-Time Scaling unterscheidet. Außerdem kannst Du Chancen, Grenzen und Risiken einschätzen und ein eigenes kleines Untersuchungskonzept zu robusten KI-Systemen entwickeln.
Warum neuronale Netze neu gedacht werden müssen
Ein künstliches neuronales Netz lernt während des Trainings aus Beispielen. Es passt seine Parameter so an, dass seine Vorhersagen auf Trainings- und Validierungsdaten möglichst gut werden. In vielen Lehrbuchsituationen wird angenommen, dass Trainingsdaten und spätere Testdaten aus derselben Wahrscheinlichkeitsverteilung stammen. In der Praxis ist diese Annahme oft zu optimistisch.
Wenn ein Bildklassifikator vor allem mit klaren Tageslichtbildern trainiert wurde, kann Nebel, Regen, Schnee oder schlechte Beleuchtung die Leistung verringern. Wenn ein Spracherkennungssystem mit bestimmten Akzenten trainiert wurde, kann es mit neuen Akzenten schlechter funktionieren. Wenn ein medizinisches Modell mit Daten eines Krankenhauses trainiert wurde, kann es in einer anderen Klinik wegen anderer Geräte, Protokolle oder Patientengruppen unsicherer werden.
Test-Time Adaptation stellt deshalb eine neue Frage: Warum soll ein Modell nach dem Training völlig starr bleiben, obwohl es zur Testzeit Hinweise auf die neue Umgebung erhält?
Klassisches Denken und neues Denken
Im klassischen Ablauf wird ein Modell trainiert, eingefroren und anschließend auf Testdaten angewendet. Die Testphase gilt dabei meist als reine Vorhersagephase. Test-Time Adaptation erweitert diesen Ablauf. Die Testphase wird nicht nur als Messung verstanden, sondern als Gelegenheit zur vorsichtigen Anpassung.
| Perspektive | Klassisches Vorgehen | Test-Time Adaptation |
|---|---|---|
| Training | Das Modell lernt aus gelabelten Trainingsdaten. | Das Modell wurde bereits trainiert und bekommt zur Testzeit neue Daten. |
| Inferenz | Das Modell gibt nur Vorhersagen aus. | Das Modell kann interne Zustände, Normalisierungen oder ausgewählte Parameter anpassen. |
| Daten | Testdaten dienen nur zur Bewertung oder Nutzung. | Ungelabelte Testdaten werden als Signal für die neue Umgebung genutzt. |
| Ziel | Hohe Genauigkeit auf bekannten Verteilungen. | Robustheit bei unbekannten oder wechselnden Verteilungen. |
Grundproblem: Verteilungsverschiebung
Eine Verteilungsverschiebung liegt vor, wenn sich die statistischen Eigenschaften der Daten zwischen Training und Einsatz verändern. Das Modell hat dann zwar Muster gelernt, aber diese Muster passen nicht mehr vollständig zur neuen Situation.

Typische Formen von Distribution Shift
| Begriff | Erklärung | Beispiel |
|---|---|---|
| Covariate Shift | Die Eingaben verändern sich, die Grundbeziehung zur Zielgröße bleibt ähnlich. | Verkehrszeichen werden bei Nebel oder Nacht aufgenommen. |
| Label Shift | Die Häufigkeit der Klassen verändert sich. | In einem Datensatz kommen plötzlich viel mehr seltene Erkrankungen vor. |
| Concept Drift | Die Beziehung zwischen Eingabe und Ziel verändert sich über die Zeit. | Spam-Mails verändern ihre Sprache, um Filter zu umgehen. |
| Domain Shift | Daten stammen aus einer neuen Umgebung oder Quelle. | Ein Modell wird von Simulation auf reale Roboterbilder übertragen. |
| Corruption Shift | Eingaben enthalten Störungen. | Bilder sind verrauscht, verschwommen oder komprimiert. |
Warum reicht normales Training nicht immer aus?
Training kann ein Modell robust machen, wenn viele mögliche Varianten bereits im Trainingsdatensatz vorkommen. Doch reale Systeme begegnen oft Situationen, die beim Training nicht vollständig bekannt waren. Man kann nicht jede Kamera, jede Wetterlage, jede Sprachvariante, jedes Gerät und jede künftige Veränderung vorhersehen. Deshalb wird Robustheit nicht nur als Eigenschaft des Trainings verstanden, sondern zunehmend als Fähigkeit zur kontrollierten Anpassung im Betrieb.
Was bedeutet Test-Time Adaptation genau?
Test-Time Adaptation umfasst Methoden, bei denen ein Modell während der Test- oder Einsatzphase Informationen aus den aktuellen Testdaten nutzt. Diese Informationen sind meistens ungelabelt. Das Modell kennt also nicht die richtigen Antworten, kann aber aus Struktur, Verteilung, Unsicherheit, Konsistenz oder Normalisierungsstatistiken lernen.
Ein zentraler Unterschied ist: Beim gewöhnlichen Fine-Tuning gibt es meist gelabelte neue Daten und eine eigene Trainingsphase. Bei Test-Time Adaptation findet die Anpassung während der Nutzung statt, oft online, manchmal pro Batch, manchmal pro einzelner Eingabe.
Vereinfachter Ablauf
- Quellmodell: Ein Modell wird auf einer bekannten Quelldomäne trainiert.
- Testdaten: Zur Einsatzzeit erscheinen Daten aus einer Zielumgebung.
- Ungelabelte Daten: Für die neuen Daten liegen keine sicheren Zielwerte vor.
- Selbstüberwachung: Das Modell nutzt Hilfsziele wie Konsistenz, Entropie oder Rekonstruktion.
- Anpassung: Bestimmte Parameter, Normalisierungen oder Vorhersagestrategien werden aktualisiert.
- Vorhersage: Das angepasste Modell gibt eine hoffentlich robustere Entscheidung aus.
Wichtige Annahmen
Test-Time Adaptation funktioniert nur dann sinnvoll, wenn die Testdaten genügend Hinweise auf die neue Verteilung enthalten. Wenn die Testdaten extrem verrauscht, manipuliert, widersprüchlich oder nicht repräsentativ sind, kann Anpassung die Leistung auch verschlechtern. Deshalb ist TTA kein magischer Reparaturknopf, sondern ein Werkzeug, das sorgfältig bewertet und überwacht werden muss.
Methoden der Test-Time Adaptation
Anpassung von Normalisierungen
Viele tiefe neuronale Netze verwenden Batch-Normalisierung. Dabei werden Aktivierungen mithilfe statistischer Größen wie Mittelwert und Varianz stabilisiert. Wenn sich die Testdaten stark von den Trainingsdaten unterscheiden, können alte Normalisierungswerte unpassend werden. Eine einfache Form von Test-Time Adaptation besteht darin, Normalisierungsstatistiken an die aktuellen Testdaten anzupassen.
Diese Idee ist attraktiv, weil sie oft weniger riskant ist als die Veränderung aller Modellparameter. Sie kann aber problematisch werden, wenn Testbatches klein, unausgewogen oder nicht repräsentativ sind.
Entropieminimierung
Ein wichtiger Ansatz ist die Entropieminimierung. Die Entropie einer Vorhersageverteilung ist hoch, wenn das Modell unsicher ist, und niedrig, wenn es eine klare Entscheidung trifft. Bei der Anpassung versucht das Modell, auf den aktuellen Testdaten selbstsicherere Vorhersagen zu erzeugen.
Das kann helfen, wenn Unsicherheit vor allem durch einen harmlosen Domänenwechsel entsteht. Es kann aber gefährlich sein, wenn das Modell falsche Selbstsicherheit entwickelt. Dann wird eine fehlerhafte Annahme durch die Anpassung verstärkt.
Selbstüberwachtes Test-Time Training
Beim selbstüberwachten Lernen erzeugt man Hilfsaufgaben aus den Daten selbst. Ein Bild kann zum Beispiel gedreht, maskiert oder rekonstruiert werden. Das Modell lernt dabei Struktur, ohne dass menschliche Labels nötig sind.
Test-Time Training nutzt solche Hilfsaufgaben während der Testzeit. Bevor eine endgültige Vorhersage gemacht wird, passt sich das Modell anhand einer selbstüberwachten Aufgabe an die aktuelle Eingabe oder den aktuellen Datenstrom an.
Konsistenz durch Datenaugmentation
Bei Datenaugmentation werden Eingaben leicht verändert, etwa durch Zuschneiden, Drehen, Rauschen oder Farbänderungen. Ein robustes Modell sollte bei sinnvollen Varianten derselben Eingabe ähnliche Vorhersagen erzeugen. Testzeit-Methoden können diese Idee nutzen, indem sie das Modell so anpassen, dass seine Vorhersagen über mehrere Augmentationen hinweg konsistent bleiben.

Pseudo-Labels und Selbsttraining
Beim Selbsttraining erzeugt das Modell eigene vorläufige Labels, sogenannte Pseudo-Labels. Sehr sichere Vorhersagen werden dann als Hilfssignal verwendet. Das kann nützlich sein, birgt aber das Risiko von Bestätigungsfehlern: Wenn das Modell falsch liegt und seine eigene falsche Vorhersage weiterlernt, kann sich der Fehler verfestigen.
Online Test-Time Adaptation
Bei Online-TTA kommen Testdaten nacheinander oder in kleinen Batches an. Das Modell passt sich fortlaufend an. Das ist realistisch für Roboter, autonome Fahrzeuge, medizinische Monitoring-Systeme oder Produktionsanlagen. Gleichzeitig entstehen neue Herausforderungen: Das Modell darf ältere Fähigkeiten nicht vergessen, es muss schnell genug sein und es darf nicht durch Ausreißer oder Angriffe in eine falsche Richtung gelenkt werden.
Abgrenzung zu verwandten Begriffen
| Begriff | Worum geht es? | Unterschied zu Test-Time Adaptation |
|---|---|---|
| Transfer Learning | Wissen aus einer Aufgabe wird auf eine andere Aufgabe übertragen. | Die Anpassung geschieht meist vor dem Einsatz und oft mit neuen Trainingsdaten. |
| Domain Adaptation | Ein Modell wird an eine Zieldomäne angepasst. | TTA ist eine besonders restriktive Form, oft ohne Labels und ohne Quelldaten zur Testzeit. |
| Fine-Tuning | Modellparameter werden mit zusätzlichen Daten weitertrainiert. | Fine-Tuning ist meist eine geplante Trainingsphase, TTA geschieht während der Inferenz. |
| Test-Time Augmentation | Mehrere Varianten einer Eingabe werden ausgewertet und gemittelt. | Dabei wird das Modell nicht unbedingt angepasst. |
| Test-Time Scaling | Während der Inferenz wird mehr Rechenaufwand eingesetzt. | Bei TTA geht es vor allem um Anpassung an neue Datenverteilungen, nicht nur um mehr Rechnen. |
| Continual Learning | Ein Modell lernt fortlaufend über längere Zeit. | TTA ist oft kurzfristiger und stärker auf aktuelle Testdaten beschränkt. |
Chancen von Test-Time Adaptation
Test-Time Adaptation kann die Robustheit von KI-Systemen verbessern, wenn sich Einsatzbedingungen verändern. Sie kann helfen, den Abstand zwischen Laborleistung und Praxisleistung zu verringern. Besonders interessant ist sie, wenn gelabelte Daten in der Zielumgebung teuer, sensibel oder gar nicht verfügbar sind.
In der Computer Vision kann TTA bei veränderten Licht- und Wetterbedingungen helfen. In der Robotik kann sie den Übergang von Simulation zu realen Sensoren unterstützen. In der medizinischen Informatik kann sie bei Unterschieden zwischen Geräten oder Kliniken relevant werden. Bei Foundation Models und Sprachmodellen wird untersucht, ob Prompts, Adapter oder interne Zustände zur Testzeit effizient angepasst werden können.
Grenzen und Risiken
Fehler können verstärkt werden
Wenn ein Modell falsche, aber sehr selbstsichere Vorhersagen erzeugt, kann TTA diese falsche Richtung verstärken. Besonders riskant ist das bei Pseudo-Labels und Entropieminimierung. Ein Modell kann scheinbar sicherer werden, ohne wirklich richtiger zu werden.
Catastrophic Forgetting
Bei fortlaufender Anpassung kann ein Modell ältere Fähigkeiten verlieren. Dieses Problem nennt man Catastrophic Forgetting. Ein Modell, das sich zu stark an eine aktuelle Umgebung anpasst, kann bei der Rückkehr zu einer früheren Umgebung schlechter funktionieren.
Datenqualität und Sicherheit
TTA nutzt Testdaten als Lernsignal. Dadurch wird die Qualität der Testdaten besonders wichtig. Ausreißer, Angriffe, manipulierte Eingaben oder nicht repräsentative Daten können die Anpassung verschlechtern. In sicherheitskritischen Bereichen braucht TTA deshalb Überwachung, Rücksetzmechanismen, Unsicherheitsmessung und klare Grenzen.
Datenschutz und Verantwortung
Wenn Testdaten personenbezogen sind, stellt sich die Frage, ob und wie ein Modell aus ihnen lernen darf. Anpassung zur Testzeit sollte datensparsam, nachvollziehbar und kontrollierbar gestaltet werden. Besonders in Medizin, Schule, Verwaltung und Arbeitswelt sind Datenschutz, Transparenz und Verantwortung zentrale Anforderungen.
Beispiel: Bildklassifikation bei Wetterwechsel
Stell Dir ein Modell vor, das Verkehrsschilder erkennt. Es wurde mit klaren Bildern bei gutem Wetter trainiert. Im Einsatz trifft es auf Nebel, Regen und Schnee. Ohne Anpassung sinkt die Leistung, weil Kanten, Farben und Kontraste anders aussehen.
Eine TTA-Methode könnte nun die Normalisierungsstatistiken an die aktuellen Kamerabilder anpassen. Eine andere Methode könnte mehrere leicht veränderte Versionen eines Bildes erzeugen und das Modell so anpassen, dass es über diese Varianten hinweg konsistent bleibt. Eine dritte Methode könnte unsichere und sehr verrauschte Beispiele überspringen, damit sich das Modell nicht an schlechte Signale anpasst.
Das Ziel ist nicht, aus einem schlechten Modell ein perfektes Modell zu machen. Das Ziel ist, ein bereits gutes Modell widerstandsfähiger gegen reale Veränderungen zu machen.
Forschungsbeispiele
Die Forschung zu Test-Time Adaptation ist seit etwa 2019 stark gewachsen. Wichtige Stränge sind Test-Time Training, Entropy Minimization, effiziente Anpassung ohne Vergessen, Anpassung mit Augmentationen sowie Online-Anpassung an Datenströme.
| Ansatz | Grundidee | Didaktische Merkhilfe |
|---|---|---|
| Test-Time Training | Ein selbstüberwachtes Hilfsziel wird zur Testzeit optimiert. | Das Modell übt kurz an der aktuellen Aufgabe. |
| Tent | Vorhersageentropie wird minimiert und Normalisierungsparameter werden angepasst. | Das Modell wird selbstsicherer, aber kontrolliert. |
| MEMO | Mehrere Augmentationen einer Eingabe werden genutzt, um robuste Konsistenz zu fördern. | Das Modell soll bei sinnvollen Varianten stabil bleiben. |
| EATA | Anpassung soll effizienter werden und Vergessen begrenzen. | Nicht jedes Testbeispiel ist gleich nützlich. |
| Online Test-Time Adaptation | Das Modell passt sich an laufende Datenströme an. | Lernen im Betrieb braucht Sicherheitsgurte. |
Wie bewertet man Test-Time Adaptation?
Eine TTA-Methode sollte nicht nur danach bewertet werden, ob sie auf einem Benchmark ein paar Prozentpunkte besser wird. Wichtig sind mehrere Fragen: Verbessert sie wirklich die Zielaufgabe? Bleibt die Kalibrierung erhalten? Wie hoch ist der zusätzliche Rechenaufwand? Funktioniert sie bei kleinen Batches? Was passiert bei Ausreißern? Kann man das Modell zurücksetzen? Verhindert die Methode Catastrophic Forgetting? Sind Datenschutz und Dokumentation geklärt?

Praktische Leitfragen für eigene Projekte
- Problemdefinition: Welche reale Veränderung soll simuliert oder untersucht werden?
- Datensatz: Welche Quelldaten und welche verschobenen Testdaten werden genutzt?
- Baseline: Wie gut ist das Modell ohne Anpassung?
- TTA-Methode: Welche Anpassung wird getestet?
- Metriken: Welche Werte erfassen Genauigkeit, Robustheit, Kalibrierung und Rechenzeit?
- Sicherheit: Wann soll Anpassung gestoppt oder zurückgesetzt werden?
- Reflexion: Wann verbessert TTA die Leistung und wann schadet sie?
Quellen und Vertiefung
- Test-Time Training: Test-Time Training with Self-Supervision for Generalization under Distribution Shifts
- Tent: Fully Test-Time Adaptation by Entropy Minimization
- MEMO: Test Time Robustness via Adaptation and Augmentation
- EATA: Efficient Test-Time Model Adaptation without Forgetting
- Survey: A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts
- Überblick: Beyond Model Adaptation at Test Time: A Survey
Interaktive Aufgaben
Quiz: Teste Dein Wissen
Was beschreibt Test-Time Adaptation am besten? (Anpassung eines trainierten Modells während der Inferenz an neue Testdaten) (!Vollständiges Neutraining eines Modells von Grund auf) (!Manuelles Beschriften aller Trainingsdaten) (!Ausschalten eines Modells nach dem Training)
Warum ist Distribution Shift für neuronale Netze problematisch? (Weil Testdaten andere statistische Eigenschaften haben können als Trainingsdaten) (!Weil neuronale Netze keine Eingabedaten verarbeiten können) (!Weil Training immer ohne Daten stattfindet) (!Weil Testdaten grundsätzlich gelabelt sein müssen)
Welche Daten nutzt Test-Time Adaptation typischerweise? (Ungelabelte Testdaten aus der Zielumgebung) (!Ausschließlich alte Trainingslabels) (!Zufällige Daten ohne Bezug zur Aufgabe) (!Nur handgeschriebene Regelwerke)
Was bedeutet Entropieminimierung in vielen TTA-Verfahren? (Das Modell soll auf Testdaten selbstsicherere Vorhersagen erzeugen) (!Das Modell soll alle Vorhersagen zufällig machen) (!Das Modell soll seine Eingaben löschen) (!Das Modell soll nur die Trainingsdaten sortieren)
Welche Gefahr besteht bei Pseudo-Labels? (Falsche Vorhersagen können durch weiteres Lernen verstärkt werden) (!Das Modell kann keine Zahlen mehr verarbeiten) (!Die Trainingsdaten werden automatisch perfekt) (!Alle Klassen werden immer gleich häufig)
Was unterscheidet Fine-Tuning meist von Test-Time Adaptation? (Fine-Tuning ist häufig eine geplante Trainingsphase mit zusätzlichen Daten) (!Fine-Tuning findet immer ohne Modell statt) (!Fine-Tuning ist dasselbe wie das Löschen aller Parameter) (!Fine-Tuning verhindert jede Verteilungsverschiebung)
Welche Rolle kann Batch-Normalisierung bei TTA spielen? (Normalisierungsstatistiken können an aktuelle Testdaten angepasst werden) (!Sie ersetzt alle Eingabedaten durch Text) (!Sie verhindert grundsätzlich jedes Overfitting) (!Sie macht gelabelte Daten immer unnötig)
Was ist ein Beispiel für Covariate Shift? (Die Bildbedingungen ändern sich, aber die Bedeutung der Klassen bleibt ähnlich) (!Die Klassenlabels werden absichtlich vertauscht) (!Das Modell wird ohne Eingaben gespeichert) (!Die Lernrate wird als Bild angezeigt)
Warum braucht Online Test-Time Adaptation besondere Vorsicht? (Weil fortlaufende Anpassung zu Vergessen oder Fehlanpassung führen kann) (!Weil online keine Daten ankommen) (!Weil neuronale Netze nur offline existieren) (!Weil Testdaten immer perfekt repräsentativ sind)
Was ist ein sinnvolles Bewertungskriterium für TTA? (Verbesserung der Robustheit bei kontrolliertem zusätzlichem Rechenaufwand) (!Möglichst viele ungeprüfte Parameteränderungen) (!Verzicht auf Vergleichswerte) (!Bewertung nur nach der Dateigröße des Modells)
Memory
| Test-Time Adaptation | Anpassung während der Inferenz |
| Verteilungsverschiebung | Unterschied zwischen Trainings- und Testumgebung |
| Entropieminimierung | Ziel selbstsicherer Vorhersagen |
| Pseudo-Label | Vom Modell erzeugtes Hilfslabel |
| Batch-Normalisierung | Statistikbasierte Stabilisierung von Aktivierungen |
| Selbstüberwachung | Lernen aus Datenstruktur ohne manuelle Labels |
Drag and Drop
| Ordne die richtigen Begriffe zu. | Thema |
|---|---|
| Quellmodell trainieren | Lernen aus bekannten Trainingsdaten |
| Testumgebung beobachten | Erkennen neuer ungelabelter Eingaben |
| Hilfsziel bilden | Nutzung von Konsistenz, Entropie oder Selbstüberwachung |
| Modell vorsichtig anpassen | Aktualisieren ausgewählter Zustände oder Parameter |
| Robust vorhersagen | Entscheidung unter veränderten Bedingungen treffen |
Kreuzworträtsel
| Entropie | Welche Größe beschreibt Unsicherheit in einer Vorhersageverteilung? |
| Robustheit | Wie nennt man die Fähigkeit, trotz Störungen verlässlich zu funktionieren? |
| Gradient | Welche Änderungsrichtung wird bei vielen Optimierungsverfahren genutzt? |
| Batch | Wie heißt eine kleine Gruppe von Datenbeispielen im Training oder Test? |
| Drift | Wie nennt man eine allmähliche Veränderung der Datenverteilung? |
| Domaene | Wie heißt ein Datenbereich oder eine Einsatzumgebung im maschinellen Lernen? |
LearningApps
Lückentext
Offene Aufgaben
Leicht
- Begriffsnetz: Erstelle eine Mindmap zu Test-Time Adaptation, Verteilungsverschiebung, Robustheit, Entropie, Pseudo-Label und Batch-Normalisierung.
- Alltagsbeispiel: Beschreibe ein alltägliches KI-System, das durch veränderte Umgebungsbedingungen schlechter werden könnte.
- Bildanalyse: Suche drei Situationen, in denen ein Bilderkennungsmodell wegen Licht, Perspektive oder Wetter Probleme bekommen könnte, und erkläre die Ursache.
- Erklärvideo: Formuliere ein einminütiges Skript, das Test-Time Adaptation für Lernende ohne Programmierkenntnisse erklärt.
Standard
- Vergleichstabelle: Vergleiche Fine-Tuning, Transfer Learning, Domain Adaptation und Test-Time Adaptation in einer Tabelle mit Zielen, Datenbedarf und Risiken.
- Experimententwurf: Plane ein kleines Experiment mit einem Bildklassifikator, bei dem Du saubere Bilder und künstlich verrauschte Bilder vergleichst.
- Risikokarte: Entwickle eine Risikoübersicht für TTA in einem medizinischen Diagnosesystem und benenne technische sowie ethische Schutzmaßnahmen.
- Fachtext: Schreibe einen erklärenden Text darüber, warum selbstsichere Vorhersagen nicht automatisch richtige Vorhersagen sind.
Schwer
- Forschungsdesign: Entwickle ein Untersuchungsdesign, mit dem Du eine TTA-Methode gegen eine unveränderte Baseline testen würdest.
- Kritische Bewertung: Analysiere, wann Entropieminimierung nützlich sein kann und wann sie zu Klassenkollaps oder falscher Sicherheit führen könnte.
- Prototyp-Konzept: Entwirf ein Konzept für ein TTA-System in der Robotik inklusive Reset-Strategie, Monitoring und Datenschutz.
- Debatte: Bereite eine strukturierte Pro-und-Contra-Debatte zur Frage vor, ob KI-Systeme im Betrieb selbstständig weiterlernen dürfen.


Lernkontrolle
- Transferaufgabe Verkehr: Ein Modell erkennt Verkehrsschilder bei Sonne gut, macht aber bei Schnee Fehler. Erkläre, welche Art von Verteilungsverschiebung vorliegt und welche TTA-Strategie helfen könnte.
- Fehleranalyse Medizin: Ein Diagnosemodell wird in einer neuen Klinik eingesetzt und wird selbstsicher, aber ungenauer. Erkläre, warum Entropieminimierung hier problematisch sein kann.
- Methodenvergleich: Vergleiche eine Anpassung von Batch-Normalisierungsstatistiken mit einer Anpassung aller Modellparameter. Beurteile Nutzen und Risiko.
- Evaluationsdesign: Entwerfe eine faire Evaluation für eine TTA-Methode. Berücksichtige Baseline, verschobene Testdaten, Metriken, Rechenaufwand und Rücksetzmechanismen.
- Ethikfall: Beurteile, ob ein Lernsystem in einer Schule Testdaten von Lernenden zur automatischen Anpassung verwenden darf. Begründe Deine Antwort mit Datenschutz und Transparenz.
- Systementscheidung: Entscheide für ein autonomes Robotersystem, wann TTA aktiviert, pausiert oder zurückgesetzt werden sollte. Begründe die Entscheidung anhand konkreter Signale.
Lernnachweis
Für einen überzeugenden Lernnachweis zu Test-Time Adaptation solltest Du zeigen, dass Du nicht nur Definitionen kennst, sondern Zusammenhänge beurteilen kannst.
- Begriffsverständnis: Du erklärst zentrale Begriffe wie Distribution Shift, Inferenz, Entropie, Pseudo-Label, Robustheit und Domain Adaptation in eigenen Worten.
- Anwendungsanalyse: Du analysierst ein realistisches Einsatzszenario und benennst mögliche Verteilungsverschiebungen.
- Methodenkompetenz: Du vergleichst mindestens zwei TTA-Ansätze und erklärst deren Voraussetzungen.
- Bewertungskompetenz: Du formulierst geeignete Metriken für Genauigkeit, Kalibrierung, Stabilität, Rechenaufwand und Sicherheit.
- Risikobewusstsein: Du diskutierst Fehlanpassung, falsche Selbstsicherheit, Datenschutz und Catastrophic Forgetting.
- Transferleistung: Du entwirfst eine eigene TTA-Untersuchung oder ein eigenes Schutzkonzept für ein KI-System.
OERs zum Thema
Links
aiMOOC-Projekte
Schulfach+


aiMOOCs



aiMOOC Projekte


THE MONKEY DANCE





{{#ev:youtube | https://youtu.be/rFhZlg38Zf8?si=9KdMNZYRkRD81YTo%7C 500 | center}}
|
{{#ev:youtube | https://youtu.be/Ob7etf9QuBo?si=t_NBA71bWg3Rq3LI%7C 500 | center}}