Diesen aiMOOC als Battle spielen: Deutsch, Klasse 7-8, G-Niveau

KI systematisch testen

Eine KI kann sehr überzeugend klingen und trotzdem Fehler machen. Sie kann eine Rechnung richtig lösen, aber eine Quelle erfinden; sie kann bei einer Formulierung zuverlässig wirken, bei einer fast gleichen Frage aber anders antworten; sie kann hilfreiche Vorschläge machen und dabei unbemerkt stereotype Annahmen übernehmen. Deshalb lautet die zentrale Kompetenz dieses Lernkurses: KI-Ergebnisse nicht einfach glauben oder ablehnen, sondern planvoll, nachvollziehbar und fair testen.

Der Kurs richtet sich besonders an Klasse 7 und ist für etwa 1–2 Unterrichtsstunden gedacht. Du arbeitest wie in einem kleinen Testlabor: Du legst ein Ziel fest, formulierst Testfälle, vergleichst mit überprüfbaren Referenzen, dokumentierst Ergebnisse und triffst am Ende selbst eine begründete Entscheidung. Dabei bleiben Menschen verantwortlich: Eine KI liefert Vorschläge oder Ausgaben, aber Du entscheidest, welche Fragen wichtig sind, welche Quellen zählen und ob ein Ergebnis verwendet werden darf.

Einleitung

Stell Dir vor, Deine Klasse plant einen Ausflug. Eine KI nennt Öffnungszeiten, Eintrittspreise, eine Route und drei angebliche Quellen. Alles sieht ordentlich aus. Würdest Du die Planung sofort an die Klasse schicken? Ein systematischer Test beginnt genau an dieser Stelle: Welche Aussage muss stimmen? Wie kannst Du sie unabhängig prüfen? Welche Fehler wären besonders problematisch?

Systematisches Testen bedeutet, nicht nur einen einzelnen Eindruck zu sammeln. Du versuchst stattdessen, Bedingungen vergleichbar zu machen. Du stellst mehrere gezielte Fragen, änderst jeweils möglichst nur einen wichtigen Faktor, hältst Antworten fest und vergleichst sie mit Kriterien oder Referenzen. Ein einzelner guter Test beweist nicht, dass ein KI-System immer zuverlässig ist. Ein einzelner schlechter Test beweist ebenfalls nicht, dass es für jede Aufgabe ungeeignet ist. Dein Urteil muss sich auf die konkrete Aufgabe und die beobachteten Ergebnisse beziehen.

Lernziele

Nach dem Kurs kannst Du:

Testziele festlegen: Du beschreibst, was eine KI in einer bestimmten Situation können soll und welche Fehler besonders wichtig sind.
Testfälle planen: Du formulierst vergleichbare Eingaben und hältst erwartete oder überprüfbare Ergebnisse fest.
Quellen prüfen: Du unterscheidest eine KI-Ausgabe von einer belastbaren Quelle und kontrollierst Aussagen über unabhängige Nachweise.
Bias untersuchen: Du suchst nach systematischen Unterschieden und prüfst, ob irrelevante Merkmale Antworten verändern.
Robustheit vergleichen: Du veränderst Formulierungen, Reihenfolgen oder Beispiele und beobachtest, ob die Qualität stabil bleibt.
Medien analysieren: Du prüfst Bilder, Texte und Quellenangaben auf Plausibilität, Herkunft, Kontext und mögliche Täuschung.
Begründet entscheiden: Du formulierst ein Urteil mit Belegen, Unsicherheiten und einer klaren menschlichen Entscheidung.

Unterrichtsrahmen für 45 oder 90 Minuten

Phase	Kurzversion ca. 45 Minuten	Vertiefung ca. 90 Minuten
Aktivierung	5 Minuten: Schnellentscheidung zu einer KI-Ausgabe	8 Minuten: Diagnose plus Medienimpuls
Einführung	10 Minuten: TESTER-Regel	15 Minuten: TESTER-Regel plus technischer Hintergrund
Testlabor	15 Minuten: drei Kernkriterien	22 Minuten: Testfälle, Robustheit, Quellen und Bias
Anwendung	10 Minuten: Ausflugsplanung prüfen	25 Minuten: Gruppenvergleich mit Testprotokoll
Selbstkontrolle und Transfer	5 Minuten: Urteil mit Begründung	20 Minuten: Quiz, Reflexion und neuer Transferfall

Aktivierung und Diagnose

60-Sekunden-Entscheidung

Eine KI schreibt: „Das Stadtmuseum ist am Dienstag geöffnet, der Eintritt kostet 4 Euro pro Person und Schulklassen müssen sich nicht anmelden.“ Darunter stehen drei Links.

Entscheide zunächst ohne Recherche: übernehmen, vorsichtig verwenden oder noch nicht verwenden? Notiere danach zwei Gründe für Deine Entscheidung. Vergleiche in der Klasse: Haben Euch sichere Formulierungen, viele Details oder Links vielleicht zu schnell überzeugt? Genau solche Eindrücke sollen beim systematischen Testen durch überprüfbare Kriterien ersetzt werden.

Medienimpuls: Was zeigt ein typisches KI-Bild – und was nicht?

Das Bild zeigt einen menschenähnlichen Roboter vor mathematischen Formeln. Es eignet sich als Anlass für Medienkritik: Viele reale KI-Systeme sehen nicht wie Roboter aus. Frage Dich: Welche Vorstellung von KI erzeugt das Bild? Welche technischen Prozesse bleiben unsichtbar? Ein Bild kann Aufmerksamkeit erzeugen und zugleich ein Klischee verstärken.

Das Maus-Video eignet sich als verständlicher Einstieg in die Frage, wie generative KI aus vielen Beispielen Muster lernt. Beim Schauen kannst Du notieren: Welche Rolle spielen Daten, Muster und Wahrscheinlichkeiten?

Was heißt „KI systematisch testen“?

Systematisch testen heißt: vorher planen, vergleichbar prüfen, Ergebnisse festhalten und danach urteilen. Für diesen Kurs nutzt Du die Merkhilfe TESTER. Sie ist eine Lernhilfe dieses Kurses, kein offizieller Industriestandard.

Buchstabe	Schritt	Leitfrage
T	Testziel festlegen	Wofür soll die KI zuverlässig genug sein?
E	Erwartung oder Referenz bestimmen	Woran erkenne ich eine gute Antwort?
S	Systematische Testfälle bauen	Welche normalen, schwierigen und veränderten Fälle prüfe ich?
T	Testen und dokumentieren	Was wurde genau eingegeben und was kam heraus?
E	Ergebnisse vergleichen	Wo gibt es Fehler, Widersprüche oder Unterschiede?
R	Resultat begründet beurteilen	Verwende ich das Ergebnis, korrigiere ich es oder verwerfe ich es?

Das KI-Testprotokoll

Testfall	Eingabe oder Aufgabe	Erwartung / Referenz	Beobachtung	Kriterium	Urteil
1	Beispielaufgabe	überprüfbare Referenz	Antwort notieren	korrekt / robust / fair / sicher / transparent	grün / gelb / rot + Begründung

Grün bedeutet nicht „die KI ist allgemein gut“, sondern nur: Dieser Testfall erfüllt die vorher festgelegten Kriterien. Gelb bedeutet: nur nach Prüfung oder Korrektur verwenden. Rot bedeutet: Für diesen Zweck nicht verwenden.

Technisches Verständnis: Training ist nicht dasselbe wie Testen

Maschinelles Lernen ist ein Teilgebiet der KI, Deep Learning wiederum ein Teilgebiet des maschinellen Lernens. Viele heutige generative Systeme beruhen auf großen neuronalen Netzen. Wichtig ist: Ein Modell „kennt“ Fakten nicht auf dieselbe Weise wie ein Mensch eine geprüfte Quelle kennt. Bei Sprachmodellen werden aus gelernten Mustern wahrscheinliche Fortsetzungen erzeugt. Eine sprachlich glatte Antwort kann deshalb richtig, teilweise falsch oder vollständig erfunden sein.

Die Grafik trennt vereinfacht zwei Phasen: Beim Training werden Daten und Ziele genutzt, um ein Modell anzupassen. Bei der Anwendung oder Inferenz verarbeitet das trainierte Modell neue Eingaben und erzeugt Ausgaben. Entwicklerinnen und Entwickler testen Modelle zusätzlich mit eigenen Datensätzen. Als Nutzerin oder Nutzer kannst Du ebenfalls ein Verhaltenstest-Labor aufbauen: Du beobachtest Eingaben und Ausgaben, auch wenn Du nicht in jedes innere Detail des Systems schauen kannst.

Black-Box-Test: Verhalten prüfen, ohne alles im Inneren zu kennen

Bei einem Black-Box-Test untersuchst Du das beobachtbare Verhalten: Welche Eingabe führt zu welcher Ausgabe? Das ist in der Schule besonders praktisch, weil Du oft keinen Zugriff auf Trainingsdaten, Quellcode oder Modellparameter hast. Trotzdem kannst Du wichtige Fragen prüfen: Bleibt eine Antwort bei sinngleichen Formulierungen stabil? Werden Quellen korrekt wiedergegeben? Werden Unsicherheiten kenntlich gemacht? Ändert ein irrelevantes Merkmal die Empfehlung?

Ein Black-Box-Test hat Grenzen. Du siehst nur die Fälle, die Du ausprobierst. Deshalb musst Du Dein Urteil genau formulieren: „In unseren zehn Testfällen war die Quellenangabe in acht Fällen überprüfbar“ ist stärker als die unbelegte Behauptung „Diese KI gibt immer gute Quellen an.“

Benchmarks: gemeinsame Prüfungen für KI-Systeme

Ein Benchmark ist vereinfacht eine standardisierte Sammlung von Aufgaben mit einer festgelegten Auswertung. Dadurch lassen sich Systeme unter ähnlichen Bedingungen vergleichen. Benchmarks sind nützlich, aber nicht allwissend: Ein hoher Punktwert kann Aufgaben aus Deinem Schulalltag verfehlen. Außerdem kann ein Test verzerrt sein, wenn Aufgaben nicht vielfältig genug sind oder wenn ein System einzelne Testbeispiele bereits aus Trainingsdaten kennt. Deshalb gilt: Benchmark-Ergebnis plus eigener Anwendungstest ist aussagekräftiger als eine einzige Zahl.

Mathe-Vertiefung: Trefferquote und Fehlerarten

Wenn acht Testfälle geprüft wurden und sechs die festgelegten Kriterien erfüllen, beträgt die Trefferquote: $\frac{6}{8} \cdot 100 = 75 %$

Diese Prozentzahl ist nur dann sinnvoll, wenn die Testfälle nachvollziehbar gewählt wurden. Acht sehr leichte Aufgaben sagen wenig über schwierige Aufgaben aus. Bei Fairnessfragen kann es zusätzlich sinnvoll sein, Ergebnisse für verschiedene Gruppen oder Varianten getrennt zu vergleichen.

Eine Konfusionsmatrix wird bei Klassifikationssystemen verwendet. Sie unterscheidet zum Beispiel richtige Treffer, richtige Ablehnungen sowie zwei verschiedene Fehlerarten. Für Klasse 7 genügt die Grundidee: Nicht jeder Fehler ist gleich. Wenn ein Filter eine harmlose Nachricht blockiert, ist das ein anderer Fehler als wenn er eine gefährliche Nachricht durchlässt. Beim Testen musst Du daher überlegen, welche Fehler in Deinem Kontext besonders schwer wiegen.

Die wichtigsten Testdimensionen

Testdimension	Leitfrage	Beispiel für einen Test
Korrektheit	Stimmt das Ergebnis mit einer belastbaren Referenz überein?	Eine historische Jahreszahl mit zwei seriösen Quellen vergleichen.
Robustheit	Bleibt die Qualität bei kleinen Änderungen stabil?	Dieselbe Aufgabe in drei sinngleichen Formulierungen stellen.
Konsistenz	Widerspricht sich das System?	Eine Begründung später in anderer Form erneut abfragen.
Quellenqualität	Existieren Quellen und stützen sie die Aussage wirklich?	Link öffnen, Autor, Datum, Inhalt und Unabhängigkeit prüfen.
Fairness / Bias	Ändert ein irrelevantes Merkmal die Bewertung?	Zwei sonst gleiche fiktive Profile gezielt vergleichen.
Sicherheit / Datenschutz	Werden unnötige persönliche Daten verlangt oder riskante Ratschläge gegeben?	Aufgabe ohne Namen, Adresse oder sensible Angaben lösen lassen.
Transparenz	Werden Grenzen, Unsicherheit und Annahmen kenntlich?	Nach fehlenden Informationen und Unsicherheiten fragen.
Nützlichkeit	Hilft das Ergebnis wirklich bei der Aufgabe?	Ergebnis an Kriterien der konkreten Schulaufgabe messen.

Quellenkritik: KI-Ausgabe ist nicht automatisch eine Quelle

Eine KI-Antwort kann Aussagen zusammenfassen, formulieren oder ordnen. Sie ersetzt aber nicht die Prüfung der Herkunft. Besonders bei aktuellen Daten, Zitaten, historischen Behauptungen und gesellschaftlichen Themen gilt: Öffne die Quelle selbst. Prüfe, ob sie existiert, ob sie die konkrete Behauptung tatsächlich stützt und ob Datum sowie Kontext passen.

Für einen schnellen Quellencheck helfen vier Fragen:

Wer?: Wer hat die Information veröffentlicht und welche Verantwortung übernimmt die Stelle?
Woher?: Gibt es Originaldaten, Dokumente oder nachvollziehbare Nachweise?
Wann?: Ist das Datum für die Frage relevant und aktuell genug?
Bestätigt?: Bestätigen unabhängige seriöse Quellen die entscheidende Aussage?

Eine erfundene oder falsch zugeordnete Quellenangabe ist besonders tückisch, weil sie seriös aussehen kann. Bei generativer KI wird dieses Phänomen oft als Halluzination oder Konfabulation bezeichnet. Wichtig ist nicht das Wort, sondern Deine Handlung: nicht automatisch übernehmen, sondern verifizieren.

Mini-Quellencheck

Eine KI nennt drei angebliche Belege für die Geschichte Eurer Schule. Öffne die Links nicht blind nacheinander, sondern plane:

Zuerst die offizielle Schul- oder Stadtseite zur Grundinformation.
Danach eine unabhängige lokale oder historische Quelle.
Dann prüfen, ob Zitate und Jahreszahlen wirklich auf der jeweiligen Seite stehen.
Abweichungen dokumentieren und im Urteil erklären.

Wenn Du keinen Zugriff auf ein KI-System hast, kann die Lehrkraft vorbereitete KI-Antworten verteilen. Die Kompetenz bleibt dieselbe: prüfen statt glauben.

Bias und Fairness gezielt untersuchen

Bias bedeutet hier eine systematische Verzerrung. Sie kann aus Daten, Aufgabenstellung, Modell, Auswahl der Kriterien oder aus der Nutzung durch Menschen entstehen. Fairness ist deshalb nicht nur eine technische Frage. Menschen müssen festlegen, welche Unterschiede relevant sein dürfen und welche nicht.

Ein einfacher Test ist der Paarvergleich: Du erstellst zwei fiktive Fälle, die in allen für die Aufgabe wichtigen Punkten gleich sind. Dann veränderst Du genau ein Merkmal, das für die Entscheidung eigentlich keine Rolle spielen sollte. Beispiel: Zwei fiktive Schülerinnen oder Schüler haben gleiche Interessen, gleiche Erfahrung und gleich viel Zeit für eine Robotik-AG. Nur der Vorname oder ein Pronomen unterscheidet sich. Wenn die KI deutlich unterschiedliche Eignungsurteile abgibt, ist das ein Hinweis, den Du mit weiteren Fällen untersuchen musst. Ein einzelnes Paar beweist noch keine allgemeine Diskriminierung.

Fair testen statt nur „Bias!“ rufen

Ein guter Fairness-Test braucht mehrere Varianten, klare Bewertungskriterien und eine saubere Dokumentation. Verwende nur fiktive Profile und keine echten persönlichen Daten aus Deiner Klasse. Frage außerdem: Ist die Entscheidung überhaupt etwas, das eine KI treffen sollte? Bei wichtigen Entscheidungen über Menschen sollte menschliche Verantwortung nicht an ein automatisches System abgegeben werden.

Medienanalyse: KI-Texte, KI-Bilder und überzeugende Oberflächen

Nicht nur der Inhalt einer Antwort beeinflusst unser Urteil. Auch Layout, Sprachstil, Bilder und Quellenlisten können Vertrauen erzeugen. Medienkritik fragt deshalb zusätzlich: Wie wirkt das Ergebnis? Wird Sicherheit sprachlich vorgespielt? Sind Bilder stereotyp? Fehlt eine Herkunftsangabe? Ist eine Illustration klar als Illustration erkennbar?

Das neuneinhalb-Video des WDR behandelt KI im Schulkontext. Nutze es nicht nur zum Zuschauen: Notiere während des Videos zwei Chancen, zwei Risiken und eine Frage, die sich nur durch einen Test beantworten lässt.

Testlabor in drei Schwierigkeitsgraden

Leicht: Zwei Antworten vergleichen

Du erhältst zwei KI-Antworten auf dieselbe Sachfrage. Markiere Aussagen, die überprüft werden können. Suche eine verlässliche Referenz und entscheide danach, welche Antwort besser belegt ist. Begründe Deine Entscheidung mit mindestens zwei Kriterien.

Standard: Robustheit testen

Formuliere dieselbe Aufgabe dreimal sinngleich. Beispiel: „Erkläre den Treibhauseffekt in fünf Sätzen für Klasse 7.“ Verändere nur die Formulierung, nicht das Lernziel. Vergleiche anschließend: Bleiben Fachbegriffe, zentrale Ursache und Umfang ähnlich? Dokumentiere Unterschiede.

Schwer: Mini-Benchmark bauen

Erstelle fünf bis acht Testfälle für eine klar abgegrenzte Aufgabe. Plane mindestens einen normalen Fall, einen schwierigen Fall, eine umformulierte Variante, einen Quellenfall und einen Fairness- oder Sicherheitsfall. Lege vor dem Test fest, wann ein Fall als bestanden gilt. Berechne anschließend die Trefferquote, aber erkläre zusätzlich, welche Fehler wichtiger sind als andere.

Anwendungssituation: Eine Klassenexkursion mit KI planen – aber geprüft

Deine Klasse möchte eine Tagesexkursion zu einem Museum planen. Eine generative KI soll nur als Vorschlagswerkzeug dienen. Sie soll mögliche Museen nennen, Öffnungszeiten und Eintritt recherchierbar angeben, die Kosten für 28 Lernende und 2 Begleitpersonen überschlagen und eine kurze Begründung schreiben.

Die Entscheidung über das Ziel trifft die Klasse erst nach der Prüfung.

Auftrag für das Testteam

Testziel: Prüft, ob die KI-Ausgabe als Grundlage für eine echte Exkursionsentscheidung geeignet ist.
Datensparsamkeit: Verwendet keine Namen, privaten Adressen, Gesundheitsdaten oder andere sensible Informationen.
Quellen: Kontrolliert Öffnungszeiten und Preise auf der offiziellen Website des vorgeschlagenen Museums; prüft zusätzlich mindestens eine unabhängige Informationsquelle.
Rechnung: Rechnet Gesamtkosten selbst nach und trennt Annahmen von gesicherten Preisen.
Robustheit: Stellt dieselbe Planungsfrage ein zweites Mal mit anderer Formulierung und vergleicht die Kernaussagen.
Fairness: Prüft, ob die Begründung Bedürfnisse wie Barrierefreiheit oder unterschiedliche Lerninteressen sachlich berücksichtigt, statt Gruppen pauschal abzuwerten.
Urteil: Entscheidet grün, gelb oder rot und begründet mit mindestens drei beobachteten Belegen.

Beispiel für ein ausgefülltes Urteil

Beobachtung	Bewertung	Folge
Offizielle Website bestätigt Öffnungszeit	grün	kann übernommen werden, Datum notieren
Eintrittspreis weicht von offizieller Website ab	rot	aktuelle offizielle Angabe verwenden
KI nennt eine Quelle, die die Behauptung nicht enthält	rot	Quelle nicht als Beleg verwenden
Rechnung stimmt nach eigener Kontrolle	grün	Rechnung mit Preisstand dokumentieren
Barrierefreiheit wird nur vermutet	gelb	auf offizieller Seite oder telefonisch klären

Die Stärke dieses Vorgehens liegt nicht darin, die KI „zu besiegen“. Du baust eine nachvollziehbare Entscheidungskette: Aufgabe → Kriterien → Testfälle → Belege → Urteil.

Fächerübergreifende Bezüge

Fach	Bezug zu „KI systematisch testen“	Mögliche Lernhandlung
Informatik	Eingabe, Ausgabe, Modell, Testfall, Robustheit, Benchmark	Black-Box-Test und Testprotokoll entwickeln
Deutsch	Formulierungen, Argumentation, Quellen und Begründungen	Zwei KI-Texte sprachlich und sachlich vergleichen
Mathematik	Prozentwerte, Häufigkeiten, Fehlerquoten, Tabellen	Trefferquote berechnen und Grenzen der Zahl erklären
Geschichte	Quellenkritik, Kontext, Primär- und Sekundärquellen	historische KI-Aussage mit Belegen prüfen
Kunst	Bildsprache, Stereotype, Bildwirkung und KI-Ästhetik	KI-Darstellungen analysieren und Klischees benennen
Ethik	Fairness, Verantwortung, menschliche Entscheidung	begründen, welche Entscheidungen nicht delegiert werden sollten
Gemeinschaftskunde	Information, Öffentlichkeit, Interessen, Desinformation	KI-Aussage zu einem öffentlichen Thema quellenkritisch prüfen
Medienbildung	Herkunft, Manipulation, Transparenz und Medienwirkung	Text, Bild und Quellenliste gemeinsam analysieren

Der KI-Check von Checker Tobi eignet sich als ergänzender Überblick. Für diesen Kurs lautet der Beobachtungsauftrag: Welche Beispiele würdest Du selbst mit der TESTER-Regel untersuchen?

Interaktive Aufgaben

Quiz: Teste Dein Wissen

Was ist der beste erste Schritt bei einem systematischen KI-Test? (Das Testziel und die Kriterien festlegen) (!Die längste Antwort auswählen) (!Nur prüfen ob die Sprache flüssig klingt) (!Die erste Antwort sofort übernehmen)

Warum reicht eine einzige gute KI-Antwort nicht als Beweis für allgemeine Zuverlässigkeit? (Sie zeigt nur das Verhalten in einem einzelnen Testfall) (!Sie beweist dass alle weiteren Antworten falsch sind) (!Sie macht Quellen grundsätzlich unnötig) (!Sie zeigt automatisch die Trainingsdaten)

Was prüft ein Robustheitstest besonders? (Ob die Qualität bei kleinen Änderungen der Eingabe stabil bleibt) (!Ob die Schriftgröße der Antwort gleich bleibt) (!Ob die KI immer dieselbe Wortzahl nutzt) (!Ob ein Bild besonders futuristisch aussieht)

Wie gehst Du mit einer von der KI genannten Quelle am sinnvollsten um? (Die Quelle öffnen und prüfen ob sie die Behauptung wirklich stützt) (!Die Quelle wegen des Links automatisch glauben) (!Nur den Titel der Quelle ansehen) (!Die Quelle nie verwenden weil KI beteiligt war)

Was ist bei einem Fairness-Paarvergleich wichtig? (Nur ein eigentlich irrelevantes Merkmal gezielt zu verändern) (!Alle Merkmale gleichzeitig zu verändern) (!Nur einen einzigen Fall ohne Vergleich zu betrachten) (!Das Ergebnis ohne Dokumentation zu bewerten)

Was bedeutet eine Trefferquote von 75 Prozent bei acht klar definierten Testfällen? (Sechs der acht Testfälle erfüllten die festgelegten Kriterien) (!Die KI ist in allen Situationen zu 75 Prozent wahr) (!Drei Viertel der Trainingsdaten sind korrekt) (!Jede vierte Quelle im Internet ist falsch)

Warum kann ein Benchmark allein die Eignung für Deine Schulaufgabe nicht beweisen? (Er kann andere Aufgaben und Bedingungen testen als Deine konkrete Anwendung) (!Benchmarks enthalten grundsätzlich keine Aufgaben) (!Benchmarks dürfen nur in Mathematik verwendet werden) (!Ein Benchmark misst nur die Bildschirmgröße)

Welche Aussage beschreibt Human Agency beim KI-Einsatz am besten? (Menschen setzen Ziele prüfen Ergebnisse und übernehmen Verantwortung) (!Die KI entscheidet endgültig weil sie schneller ist) (!Menschen sollen keine Kriterien festlegen) (!Verantwortung entsteht nur bei technischen Fehlern)

Welche Information solltest Du für eine normale Schulaufgabe nicht unnötig in ein KI-System eingeben? (Persönliche oder sensible Daten von Mitschülerinnen und Mitschülern) (!Eine frei erfundene Beispielzahl) (!Das Thema der Aufgabe) (!Eine allgemeine Sachfrage)

Welches Urteil ist nach einem Test am besten begründet? (In den geprüften Fällen war das Ergebnis brauchbar aber zwei Quellen mussten korrigiert werden) (!Die KI ist immer richtig) (!Die KI ist immer falsch) (!Die Antwort klang überzeugend also ist sie zuverlässig)

Memory

Testziel	legt fest was geprüft werden soll
Referenz	dient als überprüfbarer Vergleich
Robustheit	prüft Stabilität bei kleinen Änderungen
Bias	bezeichnet eine systematische Verzerrung
Benchmark	standardisiert Aufgaben und Auswertung
Quellenkritik	untersucht Herkunft und Belege
Testfall	beschreibt eine konkrete Prüfsituation
Transparenz	macht Annahmen und Grenzen nachvollziehbar

Drag and Drop

Ordne die richtigen Begriffe zu.	Thema
Testziel	Zweck der Prüfung festlegen
Referenz	überprüfbaren Vergleich bestimmen
Testfall	konkrete Eingabe planen
Dokumentation	Ergebnis nachvollziehbar festhalten
Urteil	Verwendung begründet entscheiden

Kreuzworträtsel

Benchmark	Wie heißt eine standardisierte Sammlung von Aufgaben zur vergleichbaren Auswertung?
Robustheit	Wie heißt die Eigenschaft bei kleinen Änderungen stabil zu bleiben?
Referenz	Wie heißt ein überprüfbarer Vergleichswert oder Beleg?
Testfall	Wie heißt eine einzelne konkret geplante Prüfsituation?
Transparenz	Wie heißt die Nachvollziehbarkeit von Annahmen Grenzen und Informationen?
Quellenkritik	Wie heißt das systematische Prüfen von Herkunft Belegen und Kontext?

LearningApps

Lückentext

Selbstkontrolle und Reflexion

Aussage	sicher	teilweise	noch üben
Ich kann ein Testziel und passende Kriterien formulieren.	□	□	□
Ich kann eine KI-Aussage mit unabhängigen Quellen prüfen.	□	□	□
Ich kann einen Robustheits- oder Fairness-Test planen.	□	□	□
Ich kann eine Trefferquote berechnen ohne sie zu überschätzen.	□	□	□
Ich kann ein Ergebnis mit Belegen und Unsicherheiten beurteilen.	□	□	□

Reflektiere anschließend: Welcher Test hat Deine erste Meinung am stärksten verändert? und Welche Entscheidung möchtest Du auch in Zukunft selbst treffen, selbst wenn eine KI eine schnelle Empfehlung liefert?

Transfer: Neue Situation selbstständig beurteilen

Die Schülerzeitung möchte eine KI verwenden, um einen Infokasten zu einem aktuellen gesellschaftlichen Thema zu schreiben. Der Text enthält Zahlen, zwei Quellen, ein Zitat und eine Bildidee. Du hast die Aufgabe noch nie getestet.

Erstelle selbstständig einen Prüfplan nach TESTER. Entscheide:

Welche zwei Aussagen müssen zuerst überprüft werden und warum?
Welche unabhängigen Quellen oder Originalquellen brauchst Du?
Wie prüfst Du, ob das Zitat wirklich existiert und korrekt im Kontext steht?
Wie testest Du, ob eine leicht veränderte Formulierung zu widersprüchlichen Aussagen führt?
Welche mögliche Verzerrung könnte in Text oder Bildidee stecken?
Welche persönlichen Daten dürfen bei der Arbeit nicht eingegeben werden?
Darf der Infokasten veröffentlicht werden, muss er korrigiert werden oder sollte er verworfen werden? Begründe mit Deinen Testergebnissen.

Der Transfer ist gelungen, wenn Deine Entscheidung nicht nur aus „ja“ oder „nein“ besteht, sondern aus Kriterien, Belegen, Grenzen und einer nachvollziehbaren menschlichen Entscheidung.

Offene Aufgaben

Leicht

Checkliste gestalten: Erstelle auf einer halben Seite eine TESTER-Checkliste für Deine nächste Schulaufgabe mit KI.
KI-Bild analysieren: Suche ein frei verwendbares KI-Symbolbild und beschreibe, welche Vorstellungen oder Klischees es vermittelt.
Zwei Quellen vergleichen: Prüfe eine einfache KI-Sachaussage mit zwei voneinander unabhängigen seriösen Quellen und dokumentiere Unterschiede.
Umformulieren: Stelle dieselbe harmlose Sachfrage in drei sinngleichen Formulierungen und vergleiche die Kernaussagen.

Standard

Testprotokoll erstellen: Führe fünf Testfälle für eine schulische KI-Aufgabe durch und bewerte jeden Fall grün, gelb oder rot.
Paarvergleich entwickeln: Entwirf vier Paare fiktiver Profile, in denen jeweils nur ein für die Aufgabe irrelevantes Merkmal verändert wird. Dokumentiere mögliche Unterschiede vorsichtig.
Fehlerquote untersuchen: Berechne für mindestens acht Testfälle Treffer- und Fehlerquote und erkläre, warum die Prozentzahl allein kein vollständiges Urteil erlaubt.
Menschen befragen: Interviewe eine Lehrkraft, Bibliothekarin, einen Bibliothekar oder eine Medienpädagogin bzw. einen Medienpädagogen zur Frage, wann KI-Ergebnisse überprüft werden müssen.

Schwer

Mini-Benchmark bauen: Entwickle zehn unterschiedlich schwierige Testfälle für eine klar begrenzte Aufgabe, lege Kriterien vorher fest und begründe die Auswahl.
Quellen-Audit: Untersuche bei mehreren KI-Antworten, ob genannte Links, Autorinnen und Autoren, Daten und Zitate wirklich existieren und die Aussagen stützen.
Delegationsgrenze begründen: Wähle eine wichtige Entscheidung im Schulalltag und argumentiere, welche Teile eine KI vorbereiten darf und welche Entscheidung Menschen behalten sollten.
Erklärvideo produzieren: Erstelle ein zwei- bis dreiminütiges Video „KI systematisch testen“ mit einem echten Testfall, einem Fehlerfund und einem begründeten Urteil.

Lernkontrolle

Neues Testdesign: Eine KI soll eine Zusammenfassung eines unbekannten Sachtextes erstellen. Entwickle mindestens fünf Kriterien und drei Testfälle, ohne die KI-Antwort schon zu kennen. Begründe, warum Deine Kriterien zur Aufgabe passen.
Fehler gewichten: Vergleiche einen Rechtschreibfehler, eine erfundene Quelle und eine falsche Kostenrechnung in einer Ausflugsplanung. Ordne die Fehler nach Bedeutung für die Entscheidung und begründe Deine Reihenfolge.
Fairness bewerten: Ein Paarvergleich liefert unterschiedliche Empfehlungen für sonst gleiche fiktive Profile. Erkläre, warum das ein Hinweis, aber noch kein endgültiger Beweis für allgemeine Verzerrung ist, und plane weitere Tests.
Benchmark kritisch lesen: Ein System erreicht 92 Prozent in einem Benchmark. Formuliere vier Fragen, die Du stellen musst, bevor Du daraus eine Empfehlung für den Schulunterricht ableitest.
Quellenstrategie: Eine KI nennt drei Links zu einem aktuellen politischen Thema. Entwickle eine Reihenfolge für die Prüfung und erkläre, warum unabhängige Bestätigung wichtiger ist als die Anzahl der Links.
Begründetes Gesamturteil: Formuliere für eine getestete KI-Anwendung ein Urteil mit Einsatzgrenze, zwei Belegen, einer Unsicherheit und einer klaren menschlichen Entscheidung.

Lernnachweis

Für einen Lernnachweis zu diesem Thema ist wichtig:

Klares Testziel: Du kannst erklären, welche konkrete Fähigkeit oder Eigenschaft geprüft wurde.
Vorab-Kriterien: Du legst nachvollziehbare Kriterien fest, bevor Du das Ergebnis bewertest.
Vielfältige Testfälle: Du nutzt normale, schwierige und veränderte Fälle statt nur eines Beispiels.
Dokumentation: Eingaben, Ausgaben, Quellen und Beobachtungen sind so festgehalten, dass andere Deinen Weg nachvollziehen können.
Quellenkritik: Wichtige Tatsachen werden unabhängig geprüft; KI-Antwort und Quelle werden nicht verwechselt.
Bias- und Fairnessprüfung: Du kannst mögliche Verzerrungen erkennen und vorsichtig mit mehreren Fällen untersuchen.
Auswertung: Du kannst einfache Treffer- oder Fehlerquoten berechnen und ihre Grenzen erläutern.
Sicherheit und Datenschutz: Du vermeidest unnötige persönliche oder sensible Daten.
Begründetes Urteil: Du entscheidest mit Belegen, Unsicherheiten und klarer menschlicher Verantwortung.
Transfer: Du kannst die Methode auf eine neue Situation übertragen.

OERs zum Thema

Die verwendeten Wikimedia-Commons-Abbildungen sind auf ihren jeweiligen Dateiseiten mit freien Lizenzen oder Gemeinfreiheitsangaben dokumentiert. Prüfe bei Weiterverwendung immer die konkrete Lizenz und die erforderliche Namensnennung. Die eingebetteten YouTube-Videos dienen als ergänzende Bildungsmedien; ein frei abrufbares Video ist nicht automatisch eine Open Educational Resource.

Weiterführende Quellen

NIST AI Risk Management Framework: Rahmen für vertrauenswürdige KI mit Kriterien wie Zuverlässigkeit, Sicherheit, Transparenz, Datenschutz und Fairness.
NIST Generative AI Profile: Vertiefung zu besonderen Risiken generativer KI, darunter erfundene Inhalte und übermäßiges Vertrauen in automatisierte Ausgaben.
Wikimedia Commons – Künstliche Intelligenz Ansätze: freie Visualisierung verschiedener KI-Ansätze.
Wikimedia Commons – Artificial Intelligence: frei lizenziertes KI-Symbolbild für die Medienanalyse.
Wikimedia Commons – AI-ML-DL.svg: freie Visualisierung des Verhältnisses von KI, maschinellem Lernen und Deep Learning.
Wikimedia Commons – Workflow: freie Visualisierung von Training und Anwendung eines ML-basierten Systems.
Wikimedia Commons – Explainable AI: frei lizenzierte Black-Box-Visualisierung.
Wikimedia Commons – Confusion Matrix Metrics: frei lizenzierte Darstellung von Klassifikationsmetriken.
Wikimedia Commons – Factchecking: Illustration zur Quellenprüfung.
Wikimedia Commons – Algorithmic bias: freie Grafik zum Thema algorithmische Verzerrung.
Wikimedia Commons – Kritisches Denken: CC0-Illustration zu kritischem Denken.

Verknüpfte Lernbereiche

KI systematisch testen

aiMOOC-Projekte

Inhalte werden geladen ...

Mediathek wird aus dem Wiki geladen ...

Frag mich zum aktuellen Lerninhalt oder wähle eine kurze Hilfe.

Textmodus bereit

Sprache