Training und Test unterscheiden
Training und Test unterscheiden
Einleitung
Training und Test unterscheiden ist eine Grundidee des maschinellen Lernens. Wenn ein Computer aus Beispielen lernen soll, braucht er Daten zum Trainieren. Um anschließend ehrlich zu prüfen, ob das Gelernte auch bei neuen Beispielen funktioniert, braucht er davon getrennte Testdaten. Genau diese Trennung untersuchst Du in diesem Lernkurs.
Der Kurs richtet sich besonders an die Klasse 6 und ist für etwa 1–2 Unterrichtsstunden gedacht. Du arbeitest mit kleinen Datensätzen, einfachen Tabellen, Bildern und Experimenten. Dabei lernst Du nicht nur zwei Fachbegriffe auswendig. Du entwickelst eine Prüfroutine, mit der Du selbst beurteilen kannst, ob ein Test fair und aussagekräftig ist.
Die Grundidee lässt sich mit einer Klassenarbeit vergleichen: Wenn Du die späteren Testaufgaben schon beim Üben samt Lösungen kennst und Deine Strategie genau darauf abstimmst, ist das Ergebnis kein besonders ehrlicher Test mehr. Bei einem KI-Modell ist es ähnlich. Es soll mit neuen, bisher nicht zum Lernen verwendeten Daten geprüft werden.
Die Grafik zeigt die zentrale Trennung: Ein Datensatz wird in einen Teil zum Lernen und einen anderen Teil zum Prüfen aufgeteilt. Die eingebundenen Grafiken von Wikimedia Commons sind frei lizenziert; die jeweilige Dateiseite nennt Urheber und genaue Lizenz.
Lernziele
Nach dem Kurs kannst Du erklären, warum Trainingsdaten und Testdaten unterschiedliche Aufgaben haben. Du kannst bei neuen Beispielen erkennen, ob wirklich getrennt wurde, und typische Fehlvorstellungen verbessern. Außerdem kannst Du Daten auf Qualität, Repräsentativität, sinnvolle Labels, Fehlerquellen und mögliche Verzerrungen prüfen.
- Trainingsdaten: Du kannst erklären, dass ein Modell daraus Muster oder Regeln lernt.
- Testdaten: Du kannst erklären, dass damit die Leistung an neuen Beispielen geprüft wird.
- Datenqualität: Du kannst fehlerhafte, unvollständige oder ungeeignete Daten erkennen.
- Repräsentativität: Du kannst prüfen, ob wichtige Fälle im Datensatz vorkommen.
- Label: Du kannst erklären, dass ein Label die bekannte Zielklasse eines Beispiels bezeichnet.
- Verzerrung: Du kannst beschreiben, wie einseitige Daten zu systematischen Fehlern führen können.
- Medienkompetenz: Du kannst Leistungsangaben wie „95 Prozent richtig“ mit passenden Rückfragen prüfen.
- Human Agency: Du kannst Entscheidungen eines KI-Systems hinterfragen und begründen, wann Menschen kontrollieren müssen.
Zeitplan für 1–2 Unterrichtsstunden
Für etwa 45 Minuten kannst Du Diagnose, Grundidee, ein Mini-Experiment, Prüfroutine und Selbstkontrolle bearbeiten. Für etwa 90 Minuten kommen Datenqualitäts-Experiment, Anwendungssituation, Reflexion und Transfer hinzu.
| Phase | Ungefährer Zeitbedarf | Tätigkeit |
|---|---|---|
| Aktivierung | 5–10 Minuten | Fairer Test oder „Spicken“? |
| Einführung | 10–15 Minuten | Training, Test, Label und Merkmal unterscheiden |
| Experiment | 15–25 Minuten | Einen kleinen Datensatz trennen und eine Regel testen |
| Datenqualität | 10–15 Minuten | Einseitige Auswahl, falsche Labels und Verzerrung untersuchen |
| Anwendung | 10–15 Minuten | Eine realistische KI-Prüfsituation beurteilen |
| Selbstkontrolle und Transfer | 10–15 Minuten | Prüfroutine anwenden, Fehlvorstellungen korrigieren |
Aktivierung und Diagnose
Der Spicker-Test
Stell Dir zwei Gruppen vor. Beide üben für denselben Test.
Gruppe A erhält zehn Übungsaufgaben. Im Test kommen fünf neue Aufgaben desselben Typs vor.
Gruppe B erhält genau die fünf späteren Testaufgaben mit Lösungen und darf ihre Strategie so lange verändern, bis alle fünf Aufgaben gelöst werden.
Welche Gruppe liefert Dir die bessere Information darüber, ob die Lernstrategie auch bei wirklich neuen Aufgaben funktioniert?
Die entscheidende Idee lautet: Ein Test soll etwas Neues prüfen. Wird der Test zum Lernen benutzt, verschwimmt die Grenze zwischen Üben und Prüfen.
Übertrage diese Idee auf KI: Ein Modell, das seine Testbeispiele schon beim Training gesehen hat, kann im Test sehr gut aussehen, ohne gut mit neuen Fällen umgehen zu können.
Blitzdiagnose
Entscheide zunächst ohne Nachschlagen:
- Ein Bilderkennungsmodell lernt mit 80 Tierbildern und wird anschließend mit 20 anderen Tierbildern geprüft. Ist die Trennung sinnvoll?
- Das Modell wird nach jedem Fehler auf den 20 Testbildern verändert und erneut mit denselben 20 Bildern geprüft. Ist das noch ein unabhängiger Abschlusstest?
- Ein Datensatz enthält fast nur Bilder bei Sonnenschein. Soll die KI später auch bei Regen funktionieren? Welche Frage zur Datenqualität entsteht?
- Zwei Personen vergeben für dasselbe Bild unterschiedliche Labels. Was müsste vor dem Training geklärt werden?
Notiere Deine ersten Vermutungen. Am Ende des Kurses vergleichst Du sie mit Deinem neuen Wissen.
Die Grundidee
Lernen aus Beispielen
Beim überwachten Lernen erhält ein Modell Beispiele mit bekannten Zielangaben. Diese Zielangaben heißen häufig Labels. Ein Datensatz für einen Obst-Klassifikator könnte zum Beispiel Merkmale wie Farbe, Form und Masse enthalten und als Label „Apfel“ oder „Birne“.
Ein Merkmal beschreibt einen beobachtbaren oder gemessenen Teil eines Beispiels. Ein Label bezeichnet dagegen die Zielklasse, die das Modell vorhersagen soll.
Beispiel: „grün“, „rund“ und „155 Gramm“ können Merkmale sein. „Apfel“ ist dann das Label.
Trainingsdaten
Trainingsdaten sind die Beispiele, mit denen ein Lernverfahren seine Regel oder sein Modell entwickelt. Vereinfacht gesagt darf das System hier aus Fehlern lernen und seine Einstellungen verändern.
Wichtig ist: Ein gutes Training bedeutet nicht automatisch, dass das Modell neue Fälle gut löst. Ein Modell könnte sich Besonderheiten seiner Trainingsbeispiele zu stark „merken“.
Testdaten
Testdaten sind Beispiele, die für die abschließende Prüfung zurückgehalten werden. Während die Regel entwickelt oder das Modell angepasst wird, dürfen die Testlösungen nicht zum Verbessern benutzt werden.
Beim Test geschieht vereinfacht Folgendes: Das fertige Modell erhält die Merkmale eines neuen Beispiels, gibt eine Vorhersage ab, und erst danach wird mit dem bekannten richtigen Label verglichen.
Wenn Du nach jedem Testfehler die Regel änderst und anschließend wieder dieselben Testfälle als Beweis für die Qualität verwendest, hast Du den Test zum Teil des Lernens gemacht. Für einen neuen ehrlichen Abschlusstest brauchst Du dann frische Testdaten.
Warum ein guter Trainingswert nicht genügt
Ein Modell kann auf Trainingsdaten sehr wenige Fehler machen und trotzdem bei neuen Daten schlecht sein. Dieses Problem heißt Überanpassung oder Overfitting. Das Modell passt dann zu stark zu den bereits gesehenen Beispielen.
Für Klasse 6 genügt folgende Merkhilfe:
Training fragt: Was kann das Modell aus den Beispielen lernen?
Test fragt: Funktioniert das Gelernte auch bei neuen Beispielen?
Das Video zum überwachten Lernen kann zur Vertiefung genutzt werden. Achte beim Anschauen besonders auf Trainingsdaten, Overfitting und die Frage, wie ein Modell mit unbekannten Fällen umgeht.
Ein Mini-Experiment mit Obst-Daten
Schritt 1: Ein überschaubarer Datensatz
Wir verwenden zehn fiktive Obst-Beispiele. Die Merkmale sind bewusst einfach gewählt. Die Daten sind nur ein Unterrichtsmodell und keine vollständige Beschreibung echter Äpfel und Birnen.
| ID | Farbe | Form | Masse | Label | Verwendung |
|---|---|---|---|---|---|
| 1 | rot | rund | 160 g | Apfel | Training |
| 2 | grün | rund | 145 g | Apfel | Training |
| 3 | gelb | rund | 170 g | Apfel | Training |
| 4 | grün | länglich | 150 g | Birne | Training |
| 5 | gelb | länglich | 180 g | Birne | Training |
| 6 | rot-grün | länglich | 165 g | Birne | Training |
| 7 | grün | rund | 155 g | Apfel | Test |
| 8 | rot-grün | länglich | 170 g | Birne | Test |
| 9 | gelb | rund | 140 g | Apfel | Test |
| 10 | grün | länglich | 190 g | Birne | Test |
Die ersten sechs Fälle bilden die Trainingsmenge. Die letzten vier bilden die Testmenge.
Eine einfache Visualisierung der Aufteilung:
Training: ██████ 6 Beispiele
Test: ████ 4 Beispiele
Schritt 2: Regel nur mit Trainingsdaten entwickeln
Decke in der Tabelle zunächst die Zeilen 7 bis 10 ab. Suche nur in den Trainingsdaten nach einer einfachen Regel. Eine mögliche Beobachtung lautet: In diesen Trainingsbeispielen sind Äpfel rund und Birnen länglich.
Wichtig: Die Aufgabe ist nicht, die „perfekte“ Obstregel zu erfinden. Du sollst erleben, wie eine Regel aus Trainingsdaten entsteht und anschließend getrennt geprüft wird.
Schritt 3: Testlabels verstecken
Decke bei den Testfällen 7 bis 10 zunächst die Spalte „Label“ ab. Wende Deine vorher festgelegte Regel an. Notiere für jeden Testfall eine Vorhersage. Erst danach deckst Du die richtigen Labels auf.
Wenn alle vier Testbeispiele richtig klassifiziert wurden, beträgt die Testtrefferquote in diesem kleinen Beispiel:
4 von 4 = 100 Prozent.
Das klingt sehr gut. Aber Achtung: Vier Testfälle sind sehr wenig. Aus einem so kleinen Test darfst Du keine großen Versprechen für alle Äpfel und Birnen der Welt ableiten.
Schritt 4: Neue Fälle als Stresstest
Ergänze gedanklich einen ungewöhnlich geformten Apfel oder eine rundliche Birne. Plötzlich könnte die Regel „rund = Apfel, länglich = Birne“ scheitern.
Das zeigt: Ein Test kann nur Fälle prüfen, die tatsächlich in ihm vorkommen. Ein hoher Testwert sagt wenig über Situationen aus, die im Test gar nicht vertreten sind.
Datenqualität entscheidet mit
Gute Trennung allein reicht nicht
Selbst wenn Training und Test sauber getrennt sind, können schlechte Daten zu schlechten Ergebnissen führen. Prüfe deshalb zusätzlich die Qualität der Daten.
- Auswahlverzerrung: Wurden Beispiele einseitig ausgewählt?
- Repräsentativität: Kommen wichtige Varianten und Gruppen vor?
- Messfehler: Wurden Merkmale korrekt erfasst?
- Label: Sind die Zielangaben zuverlässig und einheitlich vergeben?
- Datenleck: Gelangt eine Information aus dem Test unbeabsichtigt in das Training?
- Fairness: Funktioniert das System für verschiedene relevante Gruppen ähnlich zuverlässig?
Experiment: Ein einseitiger Trainingssatz
Betrachte nun einen absichtlich problematischen Datensatz:
| Beispiel | Farbe | Form | Label |
|---|---|---|---|
| A | rot | rund | Apfel |
| B | rot | rund | Apfel |
| C | grün | länglich | Birne |
| D | grün | länglich | Birne |
Hier könnte ein Lernverfahren die falsche Abkürzung „rot = Apfel, grün = Birne“ entdecken. In den vier Trainingsfällen wäre diese Regel sogar immer richtig.
Teste sie nun an zwei neuen Fällen:
| Neuer Fall | Farbe | Form | Richtiges Label |
|---|---|---|---|
| E | grün | rund | Apfel |
| F | rot-grün | länglich | Birne |
Die Farbabkürzung funktioniert nicht zuverlässig. Das Problem liegt nicht nur im Algorithmus. Schon die Auswahl der Trainingsdaten hat eine irreführende Regel begünstigt.
Repräsentativität und Stichproben
Ein Datensatz soll die Situationen abdecken, für die ein System später eingesetzt werden soll. Das bedeutet nicht, dass jeder Datensatz „alles“ enthalten kann. Es bedeutet aber, dass Du bewusst prüfen musst, was fehlt.
Die Grafik zeigt ein extremes Beispiel für eine verzerrte Auswahl bei einer Umfrage. Übertrage die Idee auf KI: Wenn bestimmte Arten von Fällen kaum oder gar nicht in den Daten vorkommen, kann ein Modell für diese Fälle schlechter funktionieren.
In Mathematik kannst Du solche Verteilungen zählen und als Anteile oder Balkendiagramme darstellen. In Gemeinschaftskunde und Ethik wird zusätzlich wichtig, welche Folgen eine ungleiche Fehlerverteilung für Menschen haben kann.
Labels können falsch sein
Ein Label ist nicht automatisch wahr, nur weil es in einer Tabelle steht. Labels können durch Tippfehler, uneindeutige Regeln, Messfehler oder unterschiedliche menschliche Einschätzungen falsch sein.
Eine einfache Prüfroutine lautet:
- Formuliere klar, was jedes Label bedeutet.
- Prüfe einige Beispiele gemeinsam.
- Markiere strittige Fälle.
- Verbessere falsche Labels, bevor Du Ergebnisse bewertest.
- Dokumentiere, wer oder was die Labels erzeugt hat.
Verzerrung und zufällige Fehler unterscheiden
Nicht jeder Fehler hat dieselbe Ursache. Manchmal liegen Vorhersagen zufällig daneben. Manchmal gibt es einen systematischen Fehler, der bestimmte Fälle immer wieder in eine ähnliche Richtung benachteiligt.
Die Zielscheiben sind eine anschauliche Metapher: Treffer können stark streuen oder systematisch neben dem Ziel liegen. Für KI bedeutet das: Zähle nicht nur alle Fehler zusammen. Frage auch, welche Arten von Beispielen besonders oft falsch behandelt werden.
Visualisierungen helfen beim Prüfen
Daten als Punkte betrachten
In Naturwissenschaften und Mathematik werden Messwerte oft als Punkte in Diagrammen dargestellt. Der bekannte Iris-Blütendatensatz enthält Messwerte verschiedener Iris-Arten und wird häufig verwendet, um Klassifikation zu veranschaulichen.
Du musst dieses Diagramm in Klasse 6 nicht vollständig mathematisch auswerten. Nutze es als Beobachtungsaufgabe:
- Welche Punktgruppen wirken gut getrennt?
- Wo überlappen sich Gruppen?
- Warum könnten Fälle in überlappenden Bereichen schwieriger zu klassifizieren sein?
- Welche Messwerte oder Gruppen scheinen häufiger vorzukommen als andere?
Damit verbindest Du Informatik, Mathematik und Naturwissenschaften.
Trainingserfolg und Testleistung vergleichen
Wenn ein Modell auf Trainingsdaten fast perfekt ist, aber auf neuen Testdaten viele Fehler macht, ist das ein Warnsignal für Überanpassung.
Die komplizierte Kurve in der Grafik folgt den vorhandenen Punkten sehr eng. Für Klasse 6 ist vor allem die Frage wichtig: Passt das Modell nur zu den bekannten Punkten oder erkennt es ein Muster, das auch bei neuen Punkten sinnvoll bleibt?
Das englischsprachige StatQuest-Video zeigt anschaulich den Unterschied zwischen Leistung auf Trainings- und Testdaten sowie Overfitting. Für Klasse 6 kann die Lehrkraft ausgewählte Ausschnitte zeigen und zentrale Aussagen auf Deutsch sichern.
Die TRENN-Prüfroutine
Nutze bei neuen Aufgaben die Merkhilfe TRENN:
- T – Trenne früh: Lege Trainings- und Testdaten fest, bevor Du die Regel entwickelst.
- R – Repräsentation prüfen: Sind die wichtigen Arten von Fällen angemessen vertreten?
- E – Etiketten prüfen: Sind Labels und Messwerte verständlich, richtig und einheitlich?
- N – Nicht spicken: Nutze Testlösungen nicht zum Verbessern des Modells.
- N – Nachmessen: Zähle Testfehler, vergleiche Fehlerarten und dokumentiere Grenzen.
Diese Routine hilft Dir, nicht nur auf eine beeindruckende Prozentzahl zu schauen.
Typische Fehlvorstellungen
Fehlvorstellung 1: Je mehr Trainingsdaten, desto besser
Mehr Daten können helfen, aber nur wenn sie zum Ziel passen und ausreichend gute Qualität besitzen. Viele falsch beschriftete oder sehr einseitige Daten können Probleme verstärken.
Fehlvorstellung 2: 100 Prozent im Training bedeutet perfekte KI
Falsch. Ein System kann Trainingsbeispiele sehr gut wiedergeben und trotzdem bei neuen Fällen scheitern. Entscheidend ist die Leistung auf sinnvoll ausgewählten neuen Daten.
Fehlvorstellung 3: Testdaten sind einfach zusätzliche Trainingsdaten
Falsch. Sobald Testdaten zum Anpassen der Regel verwendet werden, sind sie kein unabhängiger Abschlusstest mehr.
Fehlvorstellung 4: Ein einziger Testwert sagt alles
Falsch. Die Aussagekraft hängt davon ab, wie groß und wie repräsentativ der Test ist, welche Labels verwendet wurden und welche Fehlerarten wichtig sind.
Fehlvorstellung 5: Faire Daten bedeuten gleich viele Beispiele von allem
Nicht immer. Fairness hängt vom Einsatzzweck ab. Entscheidend ist, welche Gruppen und Situationen relevant sind, wie Fehler verteilt sind und welche Folgen falsche Entscheidungen haben.
Realistische Anwendungssituation
Eine Pflanzen-Erkennungsfunktion für den Schulgarten
Eine Klasse möchte eine kleine Anwendung testen, die Pflanzen anhand von Blattmerkmalen einer Pflanzengruppe zuordnet. Die Anwendung soll später bei einer Schulhof-Exkursion helfen.
Die Klasse sammelt Blätter oder verwendet frei lizenzierte Fotos. Für jedes Beispiel werden Merkmale dokumentiert, etwa Blattform, Blattrand und Länge. Fachkundige Quellen oder eine Bestimmungshilfe liefern das Label.
Nun muss die Klasse entscheiden:
- Welche Beispiele werden zum Training genutzt?
- Welche bleiben unangetastet für den Test?
- Sind verschiedene Blattgrößen, Lichtbedingungen und Wachstumsstadien vertreten?
- Sind die Labels sicher bestimmt?
- Werden Fotos derselben Pflanze versehentlich auf Training und Test verteilt?
- Wie werden Fehler dokumentiert?
- Wann soll ein Mensch die KI-Ausgabe überprüfen?
Die letzte Frage ist besonders wichtig. Eine KI-Ausgabe ist kein Naturgesetz. Du darfst nachfragen, Quellen vergleichen und die Entscheidung korrigieren.
Datenleck erkennen
Angenommen, von derselben Pflanze werden zehn fast identische Fotos aufgenommen. Acht landen im Training und zwei im Test. Der Test wirkt dann möglicherweise leichter, weil die Testbilder den Trainingsbildern stark ähneln.
Eine bessere Lösung kann sein, alle Fotos derselben Pflanze nur einem Datenteil zuzuordnen. So prüfst Du eher, ob das Modell mit wirklich neuen Pflanzen umgehen kann.
Fächerübergreifende Bezüge
Informatik
Du untersuchst Daten, Algorithmen, Klassifikation, Maschinelles Lernen, Trainingsdaten, Testdaten und Datenlecks. Im Mittelpunkt steht nicht das Programmieren eines fertigen Systems, sondern das verständige Prüfen eines Lernprozesses.
Mathematik
Du zählst Treffer und Fehler, vergleichst Anteile, liest Tabellen und Diagramme und diskutierst, warum kleine Stichproben unsichere Aussagen liefern. Bei vier Testfällen verändert ein einziger Fehler die Trefferquote bereits um 25 Prozentpunkte.
Deutsch
Du formulierst Regeln präzise, begründest Entscheidungen und untersuchst Aussagen wie „Unsere KI ist zu 98 Prozent richtig“. Du lernst Rückfragen zu stellen: Auf welchem Test? Wie groß war er? Welche Fälle kamen vor? Wurde der Test während der Entwicklung benutzt?
Naturwissenschaften
Du arbeitest mit Beobachtungen, Messwerten und Klassifikationen. Wie bei einem Experiment müssen Messbedingungen, Kategorien und Auswertung nachvollziehbar sein.
Kunst
Du kannst Datensätze als Karten, Piktogramme, Punktbilder oder Farbcodes visualisieren. Dabei prüfst Du, ob eine Darstellung Unterschiede verständlich zeigt oder durch Gestaltung einen falschen Eindruck erzeugt.
Ethik
Du untersuchst Verantwortung und Fairness. Wenn KI Menschen betrifft, können Fehler ungleich schwere Folgen haben. Dann reichen eine hohe Gesamttrefferquote und ein kleiner Test nicht aus. Menschliche Kontrolle und transparente Kriterien werden wichtiger.
Gemeinschaftskunde
Du kannst diskutieren, wer Daten auswählt, wessen Erfahrungen im Datensatz vorkommen und wer von Fehlern betroffen ist. Damit wird die technische Frage nach Testdaten auch zu einer gesellschaftlichen Frage.
Medienbildung
Du lernst, Leistungsversprechen kritisch zu lesen. Eine Prozentzahl ohne Informationen über Testdaten, Datenquelle und Fehlerverteilung ist unvollständig.
Selbstkontrolle und Reflexion
Fünf Fragen vor dem Vertrauen
Bevor Du einer Leistungsangabe zu einem KI-System vertraust, beantworte möglichst diese fünf Fragen:
- Wurden Trainings- und Testdaten getrennt?
- Waren die Testdaten beim Verbessern wirklich tabu?
- Passt der Test zu den Situationen, in denen das System eingesetzt werden soll?
- Sind Daten und Labels ausreichend zuverlässig?
- Welche Fehler treten bei welchen Fällen auf?
Wenn Du eine dieser Fragen nicht beantworten kannst, ist nicht automatisch alles falsch. Aber Du weißt, welche Information noch fehlt.
Rückkehr zur Blitzdiagnose
Vergleiche jetzt Deine Antworten vom Anfang mit Deinem neuen Wissen.
Beim zweiten Diagnosebeispiel ist der entscheidende Punkt: Wer nach jedem Fehler auf denselben Testdaten nachbessert, verwendet den Test für die Entwicklung. Der alte Test ist dann kein unabhängiger Abschlusscheck mehr.
Beim Sonnenschein-Beispiel entsteht eine Frage nach Repräsentativität: Wenn die Anwendung später Regen sehen soll, müssen Training und vor allem der Test solche Bedingungen sinnvoll berücksichtigen.
Bei uneinheitlichen Labels muss zuerst geklärt werden, welche Regel für die Beschriftung gilt und wie strittige Fälle behandelt werden.
Interaktive Aufgaben
Quiz: Teste Dein Wissen
Wozu werden Trainingsdaten hauptsächlich verwendet? (Damit ein Modell Muster oder Regeln aus Beispielen lernen kann) (!Damit die endgültige Leistung nur an neuen Fällen gemessen wird) (!Damit Testlabels geheim bleiben) (!Damit alle Daten automatisch repräsentativ werden)
Was ist die wichtigste Aufgabe eines getrennten Testdatensatzes? (Die Leistung des fertigen Modells an neuen Beispielen zu prüfen) (!Die Modellregel bei jedem Fehler weiter anzupassen) (!Fehlende Trainingsbeispiele automatisch zu erzeugen) (!Alle Labels aus dem Training zu löschen)
Warum ist es problematisch, dieselben Testdaten immer wieder zum Verbessern des Modells zu benutzen? (Der Test wird Teil der Entwicklung und ist nicht mehr unabhängig) (!Die Trainingsdaten werden dadurch automatisch größer) (!Die Labels verschwinden aus dem Datensatz) (!Das Modell kann danach keine Zahlen mehr verarbeiten)
Was beschreibt ein Label bei einer überwachten Klassifikation? (Die bekannte Zielklasse eines Beispiels) (!Die zufällige Reihenfolge der Daten) (!Die Dateigröße eines Bildes) (!Die Anzahl der Testdurchläufe)
Ein Trainingssatz enthält nur rote Äpfel und grüne Birnen. Welche Gefahr besteht? (Das Modell könnte Farbe als irreführende Abkürzung lernen) (!Das Modell erhält automatisch perfekte Testdaten) (!Die Farbe kann grundsätzlich kein Merkmal sein) (!Birnen können dadurch nicht beschriftet werden)
Was bedeutet Repräsentativität in diesem Kurs am besten? (Wichtige Arten von späteren Fällen sollen angemessen in den Daten vorkommen) (!Jeder Datensatz muss alle Dinge der Welt enthalten) (!Jede Klasse muss exakt hundert Beispiele haben) (!Nur besonders einfache Fälle dürfen getestet werden)
Was ist ein Datenleck im Zusammenhang mit Training und Test? (Information aus dem Test gelangt unzulässig in die Entwicklung) (!Ein Messwert fehlt zufällig in einer Tabelle) (!Ein Bild wird als PNG gespeichert) (!Ein Test enthält mehr als zehn Beispiele)
Ein Modell erreicht 100 Prozent auf Trainingsdaten, aber nur 60 Prozent auf neuen Testdaten. Was ist eine sinnvolle Vermutung? (Das Modell könnte zu stark an die Trainingsdaten angepasst sein) (!Das Testen ist grundsätzlich unnötig) (!Das Modell ist sicher perfekt) (!Die Testdaten müssen gelöscht werden)
Welche Frage passt zur TRENN-Prüfroutine? (Sind die Testbeispiele wirklich neu und die Labels zuverlässig?) (!Welches Logo besitzt die KI?) (!Welche Bildschirmfarbe sieht am modernsten aus?) (!Wie oft wurde die Werbung angeklickt?)
Warum sollte man Fehler auch nach relevanten Gruppen oder Situationen betrachten? (Eine gute Gesamtrate kann systematische Schwächen verdecken) (!Gruppenvergleiche machen Testdaten automatisch zu Trainingsdaten) (!Jeder einzelne Fehler beweist eine absichtliche Benachteiligung) (!Gesamtraten dürfen grundsätzlich nie berechnet werden)
Memory
| Trainingsdaten | Beispiele zum Lernen und Anpassen |
| Testdaten | Zurückgehaltene Beispiele zur unabhängigen Prüfung |
| Label | Bekannte Zielklasse eines Beispiels |
| Merkmal | Beobachtete oder gemessene Eigenschaft |
| Repräsentativität | Wichtige Fälle sind angemessen vertreten |
| Datenleck | Testinformation gelangt in die Entwicklung |
| Überanpassung | Sehr gute Anpassung an Bekanntes aber schwache Verallgemeinerung |
| Fairness | Fehler und Folgen für relevante Gruppen mitprüfen |
Drag and Drop
| Ordne die richtigen Begriffe zu. | Thema |
|---|---|
| Training | Modell wird mit Beispielen angepasst |
| Test | Fertiges Modell wird an neuen Beispielen geprüft |
| Label | Zielklasse ist bekannt |
| Merkmal | Eigenschaft eines Beispiels |
| Repräsentativität | Wichtige Einsatzfälle kommen in den Daten vor |
| Datenleck | Testwissen beeinflusst die Entwicklung |
| Überanpassung | Bekanntes klappt besser als wirklich Neues |
Kreuzworträtsel
| Training | Wie heißt die Phase, in der ein Modell aus Beispielen lernt? |
| Testdaten | Wie heißen zurückgehaltene Beispiele für die unabhängige Prüfung? |
| Label | Wie heißt die bekannte Zielklasse eines Beispiels? |
| Merkmal | Wie heißt eine beobachtete oder gemessene Eigenschaft? |
| Verzerrung | Wie heißt ein systematischer Fehler in eine bestimmte Richtung? |
| Fairness | Welcher Begriff beschreibt die gerechte Prüfung von Fehlern und Folgen? |
LearningApps
Lückentext
Offene Aufgaben
Leicht
- Karten sortieren: Erstelle zwölf Karten mit einfachen Beispielen aus einem selbst gewählten Thema. Teile sie vor dem Entwickeln einer Regel in Training und Test. Begründe Deine Aufteilung.
- Fehlerdetektiv: Baue absichtlich drei Fehler in eine kleine Datentabelle ein, zum Beispiel ein falsches Label, einen fehlenden Messwert und einen doppelten Eintrag. Lass eine andere Person die Fehler finden.
- Werbeversprechen prüfen: Formuliere drei Rückfragen zu der Aussage „Unsere KI erkennt 98 Prozent richtig“.
- Datenbild gestalten: Zeichne eine einfache Darstellung, die sechs Trainingsfälle und vier Testfälle deutlich unterscheidet, ohne die beiden Rollen zu vermischen.
Standard
- Datensatz vergleichen: Erstelle zwei kleine Datensätze zum selben Thema, einen abwechslungsreichen und einen absichtlich einseitigen. Beschreibe, welche Regel jeweils naheliegen könnte.
- Trefferquote untersuchen: Berechne für vier, acht und zwanzig Testfälle, wie stark ein einzelner zusätzlicher Fehler die Prozentzahl verändert. Erkläre, was das über kleine Tests zeigt.
- Erklärtext schreiben: Verfasse eine Erklärung für eine jüngere Klasse, warum Testdaten nicht zum Üben benutzt werden sollten. Nutze eine selbst erfundene Alltagsanalogie.
- Messprotokoll entwickeln: Plane für ein kleines Pflanzen- oder Materialexperiment, welche Merkmale Du misst, wie Du Labels festlegst und welche Fälle Du für den Test zurückhältst.
Schwer
- Fehler nach Gruppen prüfen: Erfinde einen Test mit zwei relevanten Gruppen, bei dem die Gesamttrefferquote gut aussieht, aber eine Gruppe deutlich häufiger falsch erkannt wird. Erkläre, warum die Gesamtrate allein nicht genügt.
- Datenleck-Fall konstruieren: Beschreibe ein Beispiel, bei dem fast gleiche Fotos desselben Objekts in Training und Test landen. Entwickle eine bessere Aufteilung.
- Einsatzgrenzen diskutieren: Vergleiche eine harmlose Pflanzenklassifikation mit einer KI-Entscheidung über Menschen. Begründe, warum Testqualität, Transparenz und menschliche Kontrolle im zweiten Fall besonders wichtig sind.
- Mini-Forschungsprojekt: Entwickle mit einer Gruppe einen kleinen Datensatz, formuliere eine einfache Klassifikationsregel, teste sie auf zurückgehaltenen Fällen, dokumentiere Fehler und verbessere anschließend das Datendesign. Für die verbesserte Version musst Du einen neuen Abschlusstest zurückhalten.
|
|
Lernkontrolle
- Neuer Fall: Eine Klasse trainiert ein Modell mit 90 Bildern und testet mit 10 Bildern. Nach dem ersten Test verändert sie die Regel anhand der zehn Fehler und veröffentlicht anschließend denselben Testwert. Beurteile das Vorgehen und schlage eine bessere Prüfmethode vor.
- Einseitige Auswahl: Eine Tiererkennung soll Hunde bei Tag und Nacht erkennen, wurde aber fast nur mit sonnigen Außenaufnahmen trainiert und getestet. Erkläre, welche Aussagen über die Leistung möglich sind und welche nicht.
- Uneinige Beschriftung: Zwei Gruppen vergeben bei 20 Bildern teilweise unterschiedliche Labels. Entwickle einen Ablauf, mit dem die Klasse vor dem Training zuverlässigere Labels festlegt.
- Gleiche Gesamtrate: Zwei Modelle haben beide 90 Prozent Gesamttrefferquote. Modell A macht seine Fehler gleichmäßig, Modell B fast nur bei einer bestimmten relevanten Gruppe. Erkläre, warum die gleiche Zahl nicht automatisch gleiche Qualität bedeutet.
- Ähnliche Bilder: Von jeder Pflanze existieren viele fast identische Fotos. Begründe, warum eine zufällige Verteilung einzelner Fotos auf Training und Test zu einem zu leichten Test führen kann.
- KI-Werbung: Eine Webseite nennt nur „99 Prozent Genauigkeit“, aber keine Informationen über Datensatz, Testtrennung oder Fehlerarten. Formuliere mindestens fünf Informationen, die Du vor einer Bewertung noch brauchst.
- Menschliche Kontrolle: Entwickle eine Regel dafür, wann eine Schülerin oder ein Schüler eine KI-Ausgabe übernehmen, überprüfen oder verwerfen sollte. Begründe die Regel an einem Beispiel.
Lernnachweis
Für einen Lernnachweis zu diesem Thema ist wichtig, dass Du nicht nur Begriffe aufsagen kannst. Du sollst die Grundidee sicher erklären und auf neue Situationen übertragen.
- Du erklärst den unterschiedlichen Zweck von Training und Test in eigenen Worten.
- Du erkennst, wenn Testdaten unzulässig zur Entwicklung benutzt werden.
- Du kannst einen kleinen Datensatz sinnvoll aufteilen und die Aufteilung begründen.
- Du prüfst Datenqualität, Repräsentativität, Labels und mögliche Datenlecks.
- Du interpretierst Trefferquoten vorsichtig und berücksichtigst Größe und Zusammensetzung des Tests.
- Du erkennst mögliche Überanpassung an einem einfachen Beispiel.
- Du kannst systematische Verzerrungen und ungleich verteilte Fehler ansprechen.
- Du formulierst transparente Grenzen einer Aussage über ein KI-System.
- Du begründest, warum menschliche Kontrolle und eigenes Urteil wichtig bleiben.
- Du korrigierst typische Fehlvorstellungen, zum Beispiel „100 Prozent im Training bedeutet perfekte KI“.
OERs zum Thema
Der Wikipedia-Artikel zum überwachten Lernen bietet eine fachliche Vertiefung:
Eine weitere Vertiefung behandelt Überanpassung:
Die eingebundenen Wikimedia-Commons-Grafiken können über ihre Dateiseiten mit Lizenzinformationen weiterverwendet werden. Für Unterrichtsmaterialien solltest Du Urheber, Lizenz und eventuelle Bearbeitungshinweise jeweils dokumentieren.
Verknüpfte Lernbereiche
aiMOOC-Projekte
MOOCwiki · Deutsch
Nach dem Lernen ist vor dem Lernen
Entdecke direkt den nächsten Lernkurs. Weitere Inhalte erscheinen, wenn Du weiter nach unten scrollst.
Zur MOOCwiki-HauptseiteMediathek wird aus dem Wiki geladen ...
Keine passenden Inhalte gefunden. Bitte ändere Suche oder Filter.