Diesen aiMOOC als Battle spielen: Deutsch, Klasse 9-10, G-Niveau

Erklärbarkeit von KI beurteilen

Einleitung

Künstliche Intelligenz kann Texte bewerten, Bilder einordnen, Empfehlungen aussprechen oder Menschen bei Entscheidungen unterstützen. Aber eine gute Vorhersage allein reicht nicht immer aus. Gerade wenn eine KI Einfluss auf Lernwege, Bewerbungen, Preise, Kredite, medizinische Entscheidungen oder andere wichtige Lebensbereiche hat, stellt sich eine zweite Frage: Kannst Du nachvollziehen, warum das System zu seinem Ergebnis kommt – und kannst Du die Erklärung kritisch prüfen?

In diesem Lernkurs lernst Du deshalb nicht nur, was erklärbare KI bedeutet. Du übst vor allem die zentrale KI-Kompetenz Erklärbarkeit von KI beurteilen. Du untersuchst dazu Erklärungen, vergleichst unterschiedliche Darstellungen, prüfst Belege, suchst nach Grenzen und Unsicherheiten, bewertest mögliche Folgen und entscheidest, ob eine Erklärung für ihren konkreten Zweck ausreicht.

Wichtig ist dabei: Erklärbarkeit ist nicht dasselbe wie Richtigkeit, Fairness oder Sicherheit. Eine KI kann eine falsche Entscheidung verständlich erklären. Sie kann auch eine statistisch gute Entscheidung liefern, deren Erklärung unzuverlässig ist. Deshalb brauchst Du mehrere Kriterien und musst den gesamten Nutzungskontext betrachten.

Der Kurs ist für etwa 45 bis 90 Minuten ausgelegt und richtet sich besonders an Lernende der Klasse 10. Er verbindet Informatik, Mathematik, Technik, Deutsch, Wirtschaft, Geschichte, Ethik und Gemeinschaftskunde.

Die Abbildung ist eine visuelle Metapher: Ein Modell bildet Wirklichkeit nicht vollständig ab, sondern vereinfacht sie. Genau deshalb musst Du prüfen, was eine Erklärung sichtbar macht – und was sie auslässt.

Lernziele

Nach dem Kurs kannst Du

Erklärbarkeit als Qualitätsmerkmal eines KI-Systems beschreiben und von bloßer Genauigkeit unterscheiden.
Black-Box-Systeme und leichter nachvollziehbare Modelle anhand ihrer Eigenschaften vergleichen.
globale, lokale, kontrafaktische und visuelle Erklärungen unterscheiden.
eine KI-Erklärung mit nachvollziehbaren Kriterien prüfen.
statistische Belege wie Fehlerraten und eine Konfusionsmatrix in ein Urteil einbeziehen.
mögliche Verzerrungen, Fairnessprobleme, Sicherheitsrisiken und Folgen für Betroffene erkennen.
menschliche Aufsicht, Anfechtbarkeit und Verantwortlichkeiten als Teile guter KI-Governance beurteilen.
ein KI-System für einen neuen Fall bewerten und ein begründetes Urteil formulieren.

Unterrichtsplanung für 1–2 Stunden

Phase	ca. 45 Minuten	Erweiterung auf ca. 90 Minuten
Aktivierung und Diagnose	5 Minuten: spontane Bewertung dreier KI-Erklärungen	10 Minuten: zusätzlich Partnervergleich und Begründung
Einführung	10 Minuten: Black Box, Erklärungstypen und Kriterien	20 Minuten: zusätzlich Medienanalyse und Gegenbeispiele
Anwendung	20 Minuten: Fall „KI-Frühwarnsystem Lernunterstützung“	35 Minuten: zusätzlich Mathematik, Fairness, Governance und Redesign
Urteil und Transfer	10 Minuten: Kurzurteil und Selbstkontrolle	25 Minuten: Transfer auf Bewerbung, Medizin oder Empfehlungssystem

Aktivierung und Diagnose

Stell Dir vor, eine KI markiert eine Schülerin als „hoher Unterstützungsbedarf“.

Erklärung A: „Das Modell hat 78 Prozent berechnet.“

Erklärung B: „Vor allem die letzten zwei Leistungsergebnisse und mehrere nicht abgegebene Aufgaben haben die Einstufung beeinflusst.“

Erklärung C: „Die KI ist sehr modern und wurde mit vielen Daten trainiert.“

Entscheide zunächst allein:

Welche Erklärung hilft Dir am meisten beim Verstehen?
Welche Erklärung enthält tatsächlich einen Grund oder Beleg?
Welche Erklärung würdest Du akzeptieren, wenn die Entscheidung für Dich Folgen hätte?
Welche zusätzliche Information würdest Du verlangen?

Vergleiche Deine Antwort anschließend mit einer anderen Person. Achtet darauf, ob Ihr dasselbe unter einer „guten Erklärung“ versteht. Schon diese Unterschiede zeigen: Eine Erklärung muss zur Zielgruppe und zur Situation passen.

Was bedeutet Erklärbarkeit bei KI?

Explainable Artificial Intelligence wird häufig mit XAI abgekürzt. Gemeint sind Verfahren und Gestaltungsprinzipien, die Menschen helfen sollen, Ausgaben eines KI-Systems zu verstehen, zu prüfen und angemessen zu nutzen.

Eine Erklärung kann zum Beispiel zeigen,

welche Eingaben für eine Entscheidung wichtig waren,
welcher Entscheidungspfad in einem Modell durchlaufen wurde,
welche Veränderung der Eingabe das Ergebnis geändert hätte,
wie sicher oder unsicher eine Vorhersage ist,
wo das System an seine Grenzen kommt.

Das NIST beschreibt vier grundlegende Prinzipien erklärbarer KI: Ein System soll eine Erklärung oder begleitende Gründe liefern, die Erklärung soll für die Zielgruppe verständlich sein, sie soll den tatsächlichen Entscheidungsprozess möglichst korrekt widerspiegeln und das System soll seine Wissens- und Einsatzgrenzen beachten.

Für diesen Kurs erweitern wir diese Gedanken zu einem schulgeeigneten Prüfrahmen.

Der ERKLÄR-Check

Der ERKLÄR-Check ist eine didaktische Prüfhilfe für diesen Kurs und kein amtlicher Standard.

Kriterium	Leitfrage	Warnsignal
Evidenz	Gibt die Erklärung konkrete Gründe, Daten oder nachvollziehbare Belege an?	Nur ein Ergebnis oder eine Behauptung wird wiederholt.
Relevanz	Erklärt sie genau die Entscheidung, die für die betroffene Person wichtig ist?	Viele technische Details, aber keine Antwort auf die eigentliche Frage.
Klarheit	Ist die Erklärung für die Zielgruppe verständlich?	Fachsprache ohne Erklärung oder irreführende Vereinfachung.
Loyalität zum Modell	Spiegelt die Erklärung möglichst treu wider, was das System tatsächlich beeinflusst hat?	Eine schöne Geschichte klingt plausibel, ist aber nicht mit dem Modell verbunden.
Äußerung von Grenzen	Werden Unsicherheit, fehlende Daten oder ungeeignete Einsatzbereiche sichtbar?	Das System wirkt sicher, obwohl der Fall außerhalb seines Trainingsbereichs liegt.
Revisionsmöglichkeit	Kann ein Mensch nachfragen, widersprechen, korrigieren oder die Entscheidung übersteuern?	Die Ausgabe wird automatisch übernommen und kann nicht angefochten werden.

Eine Erklärung ist besonders wertvoll, wenn sie nicht nur Vertrauen erzeugt, sondern kritische Prüfung ermöglicht. „Ich verstehe es“ darf deshalb nicht automatisch zu „Dann ist es richtig“ werden.

Black Box, White Box und Modellkomplexität

Ein einfacher Entscheidungsbaum lässt sich oft Schritt für Schritt verfolgen. Komplexe neuronale Netze bestehen dagegen aus vielen miteinander verbundenen Rechenschritten. Bei solchen Systemen ist es häufig schwieriger, eine vollständige menschlich verständliche Begründung für eine einzelne Ausgabe zu geben.

Die Abbildung zeigt ein stark vereinfachtes neuronales Netz. Schon bei deutlich größeren Netzen wird sichtbar, warum die bloße Darstellung aller Verbindungen keine hilfreiche Erklärung für Lernende, Kundinnen, Ärztinnen oder Bürger wäre.

Wichtig: Komplexität allein macht ein System nicht automatisch schlecht. Entscheidend ist, ob die Erklärung für den Zweck ausreicht und ob Risiken angemessen kontrolliert werden.

Vier nützliche Erklärungstypen

Erklärungstyp	Leitfrage	Beispiel
Globale Erklärung	Wie funktioniert das System grundsätzlich?	„Das Modell berücksichtigt Leistungsentwicklung, Aufgabenabgabe und Fehlzeiten.“
Lokale Erklärung	Warum kam dieses konkrete Ergebnis zustande?	„Bei diesem Fall wirkten die letzten zwei Leistungsergebnisse am stärksten.“
Kontrafaktische Erklärung	Was hätte geändert werden müssen, damit das Ergebnis anders ausfällt?	„Wenn die Aufgaben vollständig abgegeben worden wären, wäre die Einstufung wahrscheinlich niedriger.“
Beispielbasierte Erklärung	Welcher ähnliche Fall hilft beim Verständnis?	„Dieser Fall ähnelt mehreren früheren Fällen mit kurzfristigem Unterstützungsbedarf.“

Keine dieser Erklärungen ist automatisch die beste. Die passende Form hängt davon ab, wer die Erklärung braucht und wofür sie genutzt wird.

Visualisierung: Was schaut das Modell an?

Bei Bilderkennung können sogenannte Salienz- oder Aufmerksamkeitskarten zeigen, welche Bildbereiche die Ausgabe eines Modells stark beeinflusst haben. Solche Darstellungen können hilfreich sein, sind aber nicht dasselbe wie eine vollständige Begründung.

Frage Dich bei solchen Visualisierungen:

Zeigt die Karte tatsächlich das, was das Modell genutzt hat?
Ist die Darstellung stabil, wenn sich das Bild nur leicht ändert?
Verwechseln wir „auffällige Pixel“ mit einer menschlichen Begründung?
Würde die Visualisierung einer betroffenen Person bei einer Entscheidung helfen?

Merksatz: Eine visuelle Erklärung kann Hinweise geben, aber sie beweist nicht automatisch, dass das Modell richtig, fair oder kausal denkt.

Erklärung ist nicht gleich Ursache

Eine häufige Falle lautet: „Merkmal X war wichtig, also verursacht X das Ergebnis.“ Das ist nicht zwingend richtig.

Wenn ein Modell zum Beispiel feststellt, dass lange Fahrtwege bei früheren Bewerbungen mit Absagen zusammenhingen, folgt daraus nicht, dass ein langer Fahrtweg die Leistung einer Person verursacht. Es kann andere Gründe geben: regionale Unterschiede, soziale Faktoren oder historische Auswahlpraktiken.

Hier verbindet sich Informatik mit Mathematik und Ethik:

Statistik kann Zusammenhänge zeigen.
Eine Erklärung kann zeigen, welche Merkmale ein Modell verwendet.
Daraus folgt noch keine Ursache.
Historische Daten können frühere Ungleichheiten enthalten.
Ein transparent erklärtes System kann deshalb trotzdem unfair sein.

Realistische Anwendungssituation: KI-Frühwarnsystem Lernunterstützung

Eine fiktive Schule testet ein KI-System, das Lehrkräfte dabei unterstützen soll, Lernende mit möglichem Unterstützungsbedarf früh zu erkennen. Das System darf nicht selbst über Noten oder Versetzungen entscheiden. Es gibt nur einen Hinweis aus.

Eingaben im vereinfachten Beispiel:

Ergebnisse der letzten zwei Lernstandsüberprüfungen
Anteil abgegebener Aufgaben
entschuldigte und unentschuldigte Fehlzeiten
Veränderung der Leistung in den letzten Wochen

Ausgabe für den fiktiven Fall Samira: „Unterstützungsbedarf: erhöht.“

Lokale Erklärung des Systems: „Vor allem zwei zuletzt schlechtere Lernstandsüberprüfungen und mehrere fehlende Aufgaben beeinflussten die Einstufung.“

Zusatzinformation: Das System kennt nicht, ob Aufgaben wegen Krankheit, familiärer Verpflichtungen, technischer Probleme oder anderer besonderer Umstände fehlten.

Auftrag 1: Erklärung beurteilen

Prüfe die Erklärung mit dem ERKLÄR-Check.

Welche Kriterien erfüllt die Erklärung bereits?
Wo fehlen Belege?
Welche Information über Unsicherheit oder Wissensgrenzen fehlt?
Welche zusätzliche Erklärung sollte Samira bekommen?
Welche Information braucht die Lehrkraft?
Sollte die KI-Ausgabe automatisch eine Maßnahme auslösen? Begründe.

Auftrag 2: Folgenabschätzung

Betrachte nicht nur das Modell, sondern die Folgen.

Perspektive	Möglicher Nutzen	Mögliches Risiko
Lernende	frühere Unterstützung	falsche Etikettierung oder Stigmatisierung
Lehrkraft	zusätzlicher Hinweis	Automatisierungsbias und zu großes Vertrauen in die KI
Schule	gezieltere Ressourcenplanung	Datenschutz- und Verantwortungsprobleme
Klasse	Unterstützung kann fairer verteilt werden	einzelne Gruppen könnten häufiger fälschlich markiert werden

Deine Aufgabe: Entscheide, welche Folgen vor dem Einsatz geprüft werden müssten und welche Person bei einer Fehlentscheidung eingreifen können muss.

Mathematik: Gute Treffer reichen nicht

Zur Evaluation eines KI-Systems reicht die Frage „Wie oft liegt es richtig?“ oft nicht aus. Wichtig ist auch, welche Fehler auftreten.

Angenommen, das fiktive System wurde an 100 vergangenen Fällen getestet:

	Tatsächlich Unterstützungsbedarf	Tatsächlich kein Unterstützungsbedarf
KI meldet Unterstützungsbedarf	15	10
KI meldet keinen Unterstützungsbedarf	5	70

Daraus folgt:

15 Fälle wurden richtig erkannt.
10 Fälle wurden unnötig markiert.
5 Fälle mit tatsächlichem Bedarf wurden übersehen.
70 Fälle wurden korrekt als unauffällig eingestuft.
Insgesamt sind 85 von 100 Fällen korrekt, also 85 Prozent.
Von den 25 markierten Fällen sind 15 tatsächlich Unterstützungsfälle, also 60 Prozent.
Von den 20 tatsächlichen Unterstützungsfällen erkennt das System 15, also 75 Prozent.

Beurteilungsfrage: Ist 85 Prozent Genauigkeit gut genug? Das kannst Du nicht allein aus der Zahl entscheiden. Du musst fragen, welche Folgen ein falscher Alarm und ein übersehener Fall haben. Genau hier verbindet sich mathematische Evaluation mit Ethik und Systemdesign.

Fairness prüfen

Ein erklärbares System kann trotzdem Gruppen unterschiedlich behandeln. Deshalb gehört zur Beurteilung auch eine Fairness-Prüfung.

Stell Dir vor, das System markiert Lernende mit häufigen Fehlzeiten stärker. Das klingt zunächst nachvollziehbar. Aber Fehlzeiten können unterschiedliche Ursachen haben, zum Beispiel chronische Erkrankung, Pflegeaufgaben in der Familie oder schwierige Verkehrsverbindungen.

Eine faire Prüfung fragt deshalb:

Welche Merkmale werden verwendet?
Können diese Merkmale indirekt soziale Ungleichheiten abbilden?
Wie verteilen sich Fehlalarme und übersehene Fälle auf verschiedene Gruppen?
Kann eine betroffene Person Kontext ergänzen?
Gibt es eine menschliche Überprüfung?
Wird das System regelmäßig neu bewertet?

Das Bild veranschaulicht ein Grundproblem: Gesellschaftliche Ungleichheiten können in Daten auftauchen, durch Modelle verstärkt werden und anschließend wieder auf gesellschaftliche Entscheidungen zurückwirken.

Systemdesign: Erklärbarkeit von Anfang an mitplanen

Erklärbarkeit sollte nicht erst nach der Fertigstellung „angeklebt“ werden. Sie gehört zum Systemdesign.

Ein verantwortliches Design beginnt mit sechs Fragen:

Zweck: Welche Entscheidung soll die KI unterstützen?
Daten: Welche Informationen sind wirklich nötig?
Modell: Braucht der Zweck ein sehr komplexes Modell oder reicht ein leichter nachvollziehbares?
Erklärung: Welche Erklärung brauchen Betroffene und welche Fachpersonen?
Eingriff: Wer darf die KI-Ausgabe korrigieren oder verwerfen?
Kontrolle: Wie werden Fehler, Beschwerden und Veränderungen im Betrieb überwacht?

Ein gutes Systemdesign betrachtet also nicht nur „Modell rein – Ergebnis raus“, sondern die gesamte Mensch-Technik-Organisation.

Gestaltung: Eine gute Erklärung entwerfen

Eine gute Benutzeroberfläche sollte nicht mit technischen Details überladen werden. Sie sollte die wichtigsten Informationen in verständlicher Reihenfolge anbieten.

Ein mögliches Muster lautet:

1. Ergebnis: Was empfiehlt das System?

2. Hauptgründe: Welche zwei bis vier Faktoren hatten großen Einfluss?

3. Unsicherheit: Wie sicher ist das System und wann könnte die Aussage unzuverlässig sein?

4. Datenbasis: Welche Daten wurden für diesen Fall verwendet?

5. Alternative: Was hätte zu einem anderen Ergebnis führen können?

6. Handlungsmöglichkeit: Wer kann nachfragen, korrigieren oder widersprechen?

Gestaltungsauftrag: Zeichne auf Papier einen Bildschirm für Samira. Gestalte ihn so, dass Samira nicht nur das Ergebnis sieht, sondern die Entscheidung prüfen und hinterfragen kann.

Governance: Wer trägt Verantwortung?

KI-Governance bedeutet, Regeln, Rollen, Kontrollen und Verantwortlichkeiten rund um ein KI-System festzulegen. Gute Governance verhindert, dass Verantwortung einfach an „die KI“ abgeschoben wird.

Für ein schulisches KI-System könnten zum Beispiel folgende Rollen unterschieden werden:

Anbieter oder Entwicklungsteam: dokumentiert Zweck, Grenzen, Testdaten und technische Eigenschaften.
Schule als einsetzende Organisation: entscheidet, ob der Einsatz pädagogisch und organisatorisch vertretbar ist.
Lehrkraft oder zuständige Fachperson: interpretiert Ausgaben und trifft keine wichtige Entscheidung nur wegen eines KI-Scores.
Betroffene Lernende: erhalten verständliche Informationen und eine Möglichkeit zur Rückfrage.
Verantwortliche Aufsicht: prüft Datenschutz, Fairness, Beschwerden und die laufende Nutzung.

Der europäische AI Act enthält für bestimmte KI-Anwendungen risikobasierte Vorgaben. Bestimmte Systeme in Bildung und Berufsbildung können als Hochrisiko-KI eingeordnet werden, etwa wenn sie Zugang, Zulassung oder Lernleistungen in besonders folgenreicher Weise bewerten. Für Hochrisiko-Systeme spielen unter anderem Transparenz gegenüber den einsetzenden Personen und wirksame menschliche Aufsicht eine wichtige Rolle. Für diesen Kurs genügt die Grundidee: Je größer die möglichen Folgen für Menschen, desto stärker müssen Prüfung, Dokumentation und Aufsicht sein.

Human Agency: Der Mensch bleibt handlungsfähig

Human Agency bedeutet, dass Menschen nicht bloß passive Empfänger einer KI-Ausgabe sind. Sie sollen verstehen, prüfen, entscheiden und bei Bedarf widersprechen können.

Ein verantwortlicher Prozess könnte deshalb so aussehen:

KI gibt eine Empfehlung aus.
Mensch prüft Erklärung, Daten und Unsicherheit.
Betroffene Person kann fehlenden Kontext ergänzen.
Entscheidung wird von einer verantwortlichen Person getroffen.
Gründe werden dokumentiert.
Fehler können gemeldet und später ausgewertet werden.

Das schützt nicht nur die betroffene Person. Es hilft auch, das System langfristig zu verbessern.

Evaluation: Wie prüft man eine Erklärung?

Eine Erklärung kann auf mindestens drei Ebenen evaluiert werden.

Ebene	Prüffrage	Beispieltest
Technisch	Entspricht die Erklärung dem tatsächlichen Verhalten des Modells?	Eingaben gezielt verändern und prüfen, ob Erklärung und Ausgabe passend reagieren.
Menschlich	Versteht die Zielgruppe die Erklärung?	Lernende erklären in eigenen Worten, warum das Ergebnis entstand.
Praktisch	Hilft die Erklärung beim verantwortlichen Handeln?	Kann die betroffene Person einen Fehler erkennen, nachfragen oder widersprechen?

Besonders wichtig ist die Erklärungstreue. Eine Erklärung darf nicht nur plausibel klingen. Sie sollte möglichst zuverlässig mit dem Modellverhalten verbunden sein.

Testidee: Kontrafaktische Prüfung

Nimm die Erklärung „fehlende Aufgaben waren wichtig“.

Verändere im Gedankenexperiment nur dieses Merkmal:

Variante: Alle Aufgaben wurden abgegeben, sonst bleibt alles gleich.

Frage:

Ändert sich die KI-Ausgabe?
Wenn nein, war das Merkmal wirklich so wichtig, wie behauptet?
Wenn ja, ist die Veränderung nachvollziehbar groß?
Gibt es eine plausible Grenze, ab wann sich die Entscheidung ändert?

Ein solcher Test kann helfen, Erklärungen nicht nur zu lesen, sondern aktiv zu überprüfen.

Quellenkritik bei KI-Erklärungen

Auch Erklärungen selbst sind Informationsquellen. Deshalb gelten Regeln der Quellenkritik:

Wer erzeugt die Erklärung: das ursprüngliche Modell, ein Zusatzverfahren oder ein Mensch?
Welche Daten liegen zugrunde?
Ist dokumentiert, wie die Erklärung erzeugt wurde?
Sind Unsicherheiten sichtbar?
Gibt es unabhängige Tests?
Passt die Erklärung zu anderen Beobachtungen?
Könnte die Darstellung gezielt Vertrauen erzeugen, ohne echte Prüfbarkeit zu schaffen?

Im Fach Deutsch kannst Du diese Prüfung mit Argumentationsanalyse verbinden: Trenne Behauptung, Begründung, Beleg und Schlussfolgerung.

Fächerübergreifende Bezüge

Fach	Verbindung zum Thema
Informatik	Modelltypen, Black Box, XAI-Verfahren, Daten, Systemdesign und Evaluation
Mathematik	Wahrscheinlichkeiten, Fehlerraten, Konfusionsmatrix, Verteilungen und statistische Zusammenhänge
Technik	Mensch-Maschine-Schnittstelle, Sicherheitsmechanismen, Fail-Safe-Prinzip und Systemgrenzen
Deutsch	verständliche Erklärungen, Argumentationsqualität, Quellenkritik und begründetes Urteil
Wirtschaft	Bewerberauswahl, Kreditentscheidungen, Effizienz, Haftung, Vertrauen und Kosten von Fehlentscheidungen
Geschichte	Entwicklung von regelbasierten Expertensystemen zu datengetriebenen Lernverfahren und veränderte Vorstellungen von maschineller Entscheidungsfindung
Ethik	Fairness, Verantwortung, Autonomie, Würde und gerechte Behandlung
Gemeinschaftskunde	Regulierung, Grundrechte, demokratische Kontrolle, Beschwerdemöglichkeiten und gesellschaftliche Folgen

Zwei kurze Medienimpulse

Der erste Impuls erklärt XAI allgemein und eignet sich als Einstieg oder Wiederholung.

Arbeitsauftrag zum Video:

Notiere zwei Aussagen, die mit dem ERKLÄR-Check zusammenpassen.
Markiere eine Aussage, die Du zusätzlich überprüfen möchtest.
Formuliere eine Frage, die das Video offenlässt.

Entscheidungsmatrix für ein begründetes Urteil

Am Ende einer Analyse kannst Du eine Entscheidungsmatrix nutzen.

Prüfbereich	Stark	Teilweise	Schwach
Erklärung enthält überprüfbare Gründe	Gründe und Belege klar	Gründe vorhanden, Belege lückenhaft	nur Ergebnis oder Behauptung
Erklärung ist adressatengerecht	verständlich und passend	teilweise verständlich	unverständlich oder irreführend
Erklärung ist treu zum Modell	durch Tests gut gestützt	teilweise geprüft	nur plausible Geschichte
Grenzen und Unsicherheit	deutlich ausgewiesen	nur teilweise sichtbar	fehlen
Fairness und Folgen	systematisch geprüft	einzelne Risiken geprüft	kaum betrachtet
Menschliche Kontrolle	Eingriff und Widerspruch möglich	eingeschränkt möglich	praktisch keine Kontrolle

Urteilsformel:

„Ich beurteile die Erklärung für diesen Zweck als ________, weil ________. Als Beleg nutze ich ________. Unsicher bleibt ________. Vor einem Einsatz sollte deshalb ________.“

Transfer: Neue Fälle beurteilen

Wende den ERKLÄR-Check auf einen neuen Fall an.

Fall A – Ausbildung: Ein Betrieb nutzt KI, um Bewerbungen für Ausbildungsplätze zu sortieren.

Fall B – Alltag: Eine App empfiehlt Dir Videos und behauptet: „Weil Du ähnliche Inhalte angesehen hast.“

Fall C – Medizin: Ein System markiert auf einem Röntgenbild eine auffällige Region und nennt eine Wahrscheinlichkeit.

Fall D – Schule: Eine Lernplattform schlägt automatisch die nächste Aufgabenschwierigkeit vor.

Für jeden Fall entscheidest Du:

Wie groß sind die möglichen Folgen einer Fehlentscheidung?
Welche Erklärung braucht die betroffene Person?
Welche Erklärung braucht eine Fachperson?
Welche Belege müssen zusätzlich geprüft werden?
Wer muss eingreifen können?
Reicht die vorhandene Erklärung aus?

Interaktive Aufgaben

Quiz: Teste Dein Wissen

Was ist das wichtigste Ziel einer guten KI-Erklärung? (Sie ermöglicht einer passenden Zielgruppe, die Ausgabe nachvollziehbar zu prüfen) (!Sie macht jede KI-Entscheidung automatisch richtig) (!Sie ersetzt menschliche Verantwortung vollständig) (!Sie muss immer den gesamten Programmcode zeigen)

Warum reicht eine hohe Genauigkeit allein nicht für ein verantwortliches Urteil über ein KI-System? (Weil auch Fehlerarten, Folgen, Fairness und Erklärbarkeit betrachtet werden müssen) (!Weil Genauigkeit bei KI grundsätzlich bedeutungslos ist) (!Weil erklärbare Systeme nie Fehler machen) (!Weil nur die Anzahl der Trainingsdaten wichtig ist)

Was beantwortet eine lokale Erklärung? (Warum ein konkreter Einzelfall zu einem bestimmten Ergebnis geführt hat) (!Wie alle KI-Systeme weltweit funktionieren) (!Welche Gesetze in jedem Land gelten) (!Wie viel Strom ein Rechenzentrum verbraucht)

Was bedeutet Erklärungstreue? (Die Erklärung spiegelt möglichst korrekt wider, was das Modell tatsächlich beeinflusst hat) (!Die Erklärung klingt besonders überzeugend) (!Die Erklärung ist möglichst lang) (!Die Erklärung vermeidet jede Unsicherheit)

Was zeigt eine Wissensgrenze eines KI-Systems? (Wann das System außerhalb geeigneter Bedingungen arbeitet oder zu unsicher ist) (!Dass das System immer schlechter als ein Mensch ist) (!Dass das System keine Daten verwendet) (!Dass jede Vorhersage verboten ist)

Warum ist Merkmalswichtigkeit nicht automatisch eine Ursache? (Weil ein statistischer Zusammenhang nicht beweist, dass ein Merkmal das Ergebnis verursacht) (!Weil KI niemals mit Merkmalen arbeitet) (!Weil Ursachen nur in Texten vorkommen) (!Weil Statistiken grundsätzlich keine Zusammenhänge zeigen)

Was ist ein Beispiel für wirksame menschliche Aufsicht? (Eine verantwortliche Person kann die KI-Ausgabe prüfen, übersteuern und dokumentiert entscheiden) (!Die KI entscheidet automatisch und informiert danach) (!Nur das Entwicklungsteam darf das Ergebnis sehen) (!Die Ausgabe wird immer übernommen, wenn sie wahrscheinlich klingt)

Welche Frage gehört zu einer Fairnessprüfung? (Verteilen sich Fehlentscheidungen auf betroffene Gruppen auffällig unterschiedlich) (!Hat die Benutzeroberfläche eine moderne Schriftart) (!Ist das Modell möglichst groß) (!Wurde die KI mit dem neuesten Computer trainiert)

Was ist eine kontrafaktische Erklärung? (Eine Erklärung, die zeigt, welche Änderung zu einem anderen Ergebnis geführt hätte) (!Eine Erklärung, die nur das Endergebnis wiederholt) (!Eine Erklärung ohne Bezug zum Einzelfall) (!Eine Liste aller Programmdateien)

Wann ist eine KI-Erklärung besonders nützlich? (Wenn sie Verstehen, Prüfung, verantwortliches Handeln und Widerspruch unterstützt) (!Wenn sie möglichst viel Vertrauen erzeugt, unabhängig von ihrer Genauigkeit) (!Wenn sie nur Fachleute verstehen können) (!Wenn sie jede menschliche Entscheidung ersetzt)

Memory

Evidenz	konkrete Gründe und überprüfbare Belege
Relevanz	Erklärung passt zur konkreten Entscheidung
Klarheit	Zielgruppe kann die Erklärung verstehen
Erklärungstreue	Darstellung passt zum tatsächlichen Modellverhalten
Wissensgrenze	System erkennt ungeeignete oder unsichere Situationen
Aufsicht	verantwortlicher Mensch kann eingreifen
Anfechtbarkeit	betroffene Person kann nachfragen oder widersprechen

Drag and Drop

Ordne die richtigen Begriffe zu.	Thema
Globale Erklärung	beschreibt das System grundsätzlich
Lokale Erklärung	erklärt einen konkreten Einzelfall
Kontrafaktische Erklärung	zeigt eine mögliche Veränderung für ein anderes Ergebnis
Fairnessprüfung	untersucht ungleiche Auswirkungen und Fehlerraten
Folgenabschätzung	betrachtet Nutzen, Schäden und betroffene Gruppen
Menschliche Aufsicht	ermöglicht Kontrolle, Eingriff und verantwortliche Entscheidung

...

Kreuzworträtsel

Transparenz	Wie heißt das Prinzip, Informationen über Funktionsweise und Nutzung eines Systems nachvollziehbar zu machen?
Fairness	Wie heißt das Ziel, Menschen nicht ungerecht oder systematisch benachteiligend zu behandeln?
Aufsicht	Wie heißt die menschliche Kontrolle eines KI-Systems mit Eingriffsmöglichkeit?
Evidenz	Wie nennt man überprüfbare Belege für eine Behauptung oder Erklärung?
Kontext	Welches Wort bezeichnet die konkrete Situation, in der eine KI-Erklärung bewertet wird?
Unsicherheit	Was sollte sichtbar werden, wenn ein System sein Ergebnis nicht sicher einschätzen kann?

LearningApps

Lückentext

Eine KI-Erklärung sollte konkrete

für eine Ausgabe liefern. Eine Erklärung muss für ihre

verständlich sein. Die Erklärung sollte das tatsächliche Modellverhalten möglichst

widerspiegeln. Ein verantwortliches System zeigt auch seine

und Unsicherheiten. Hohe Vorhersagegenauigkeit beweist noch keine

. Bei folgenreichen Anwendungen braucht es wirksame menschliche

. Eine lokale Erklärung bezieht sich auf einen konkreten

. Eine kontrafaktische Erklärung fragt nach einer möglichen

für ein anderes Ergebnis. Statistische Merkmalswichtigkeit beweist noch keine

. Für ein begründetes Urteil brauchst Du neben Erklärungen auch

. Eine Folgenabschätzung betrachtet mögliche Nutzen und

. Gute Governance klärt außerdem, wer für Entscheidungen

ist.

Offene Aufgaben

Leicht

Erklärung vergleichen: Formuliere zu derselben KI-Ausgabe eine schlechte und eine gute Erklärung. Markiere anschließend, welche Kriterien des ERKLÄR-Checks den Unterschied ausmachen.
Alltags-KI beobachten: Suche in Deinem Alltag nach einer Empfehlung eines digitalen Systems. Notiere, ob und wie erklärt wird, warum Du diese Empfehlung erhältst.
Erklärung visualisieren: Zeichne eine lokale Erklärung als leicht verständliche Infografik für eine Person in Deinem Alter.
Begriffe erklären: Erkläre Black Box, lokale Erklärung und menschliche Aufsicht jeweils in einem eigenen Beispiel ohne Fachsprache.

Standard

Erklärungs-Audit: Prüfe den Fall des schulischen Frühwarnsystems vollständig mit dem ERKLÄR-Check und formuliere ein begründetes Einsatzurteil.
Fehlerfolgen analysieren: Vergleiche falsch positive und falsch negative Entscheidungen im Schulbeispiel. Entscheide, welcher Fehler schwerer wiegt und begründe Deine Wertung.
Benutzeroberfläche gestalten: Entwirf zwei Erklärungsansichten für dasselbe KI-Ergebnis: eine für Lernende und eine für Lehrkräfte. Begründe die Unterschiede.
Quellenkritik zu KI: Suche zwei seriöse Quellen zu Explainable AI. Vergleiche Definition, Zielgruppe, Belege und mögliche Interessen der Quellen.

Schwer

KI-Governance entwerfen: Entwickle für eine fiktive Schule Regeln, Rollen, Prüfzeitpunkte und Beschwerdewege für den Einsatz eines KI-Systems.
Folgenabschätzung durchführen: Übertrage das Prüfschema auf eine KI-gestützte Bewerberauswahl für Ausbildungsplätze und untersuche Nutzen, Risiken, Fairness und menschliche Kontrolle.
Erklärung testen: Entwickle drei gezielte Eingabeänderungen, mit denen Du prüfen würdest, ob eine behauptete lokale Erklärung wirklich zum Modellverhalten passt.
Position begründen: Schreibe eine strukturierte Stellungnahme zur Aussage „Eine nicht erklärbare KI darf bei wichtigen Entscheidungen niemals eingesetzt werden“. Berücksichtige Genauigkeit, Risiken, Alternativen und menschliche Aufsicht.

Lernkontrolle

Urteil mit Belegen: Ein KI-System erreicht 92 Prozent Genauigkeit, liefert aber keine verständliche Erklärung für Einzelfälle. Entscheide, ob es für die automatische Auswahl von Ausbildungsbewerbungen eingesetzt werden sollte. Nutze mindestens vier Kriterien und begründe Dein Urteil.
Zielgruppenvergleich: Eine Ärztin, ein Patient und ein Softwareentwickler erhalten dieselbe KI-Vorhersage. Erkläre, warum sie unterschiedliche Erklärungen brauchen könnten und welche Informationen jeweils wichtig sind.
Fairness und Transparenz: Ein System erklärt offen, dass Postleitzahl und Fahrtweg seine Entscheidung stark beeinflussen. Zeige, warum Transparenz allein noch keine Fairness garantiert.
Redesign: Ein schulisches KI-System zeigt nur einen Risikowert. Entwirf mindestens vier Verbesserungen, durch die Lernende handlungsfähiger werden.
Transfer auf Empfehlungssysteme: Prüfe die Erklärung „Du siehst dieses Video, weil ähnliche Nutzer es angesehen haben“. Entscheide, welche Kriterien erfüllt sind und welche Informationen fehlen.
Governance-Fall: Nach mehreren Beschwerden stellt eine Schule fest, dass ein KI-System bestimmte Lernende häufiger fälschlich markiert. Entwickle einen verantwortlichen Ablauf von der Meldung bis zur Entscheidung über Weiterbetrieb, Anpassung oder Abschaltung.

Lernnachweis

Für einen überzeugenden Lernnachweis zu diesem Thema ist wichtig, dass Du

einen konkreten KI-Fall systematisch beschreibst,
den Zweck und die betroffenen Personen benennst,
mindestens vier Kriterien des ERKLÄR-Checks korrekt anwendest,
zwischen Richtigkeit, Erklärbarkeit und Fairness unterscheidest,
mindestens einen quantitativen oder dokumentierten Beleg einbeziehst,
Unsicherheiten und Grenzen offen benennst,
menschliche Aufsicht und Verantwortlichkeiten bewertest,
mögliche Folgen für unterschiedliche Gruppen berücksichtigst,
ein begründetes Urteil formulierst,
eine sinnvolle Verbesserungsmaßnahme oder Alternative vorschlägst.

Ein starker Lernnachweis besteht also nicht aus der Aussage „Die KI ist gut“ oder „Die KI ist schlecht“, sondern aus einer nachvollziehbaren Argumentation mit Kriterien, Belegen, Abwägung und begründetem Schluss.

Selbstkontrolle und Reflexion

Beantworte zum Abschluss ohne Hilfsmittel:

Kann ich erklären, warum eine verständliche Erklärung trotzdem falsch sein kann?
Kann ich mindestens vier Kriterien nennen, mit denen ich eine KI-Erklärung prüfe?
Kann ich aus Fehlerraten eine Folge für reale Menschen ableiten?
Kann ich erkennen, wenn eine Erklärung nur plausibel klingt, aber nicht belegt ist?
Kann ich begründen, wann ein Mensch eine KI-Ausgabe übersteuern sollte?
Kann ich mein Prüfschema auf einen neuen Fall übertragen?

Reflexionssatz: „Bei KI werde ich einer Erklärung künftig besonders dann misstrauen, wenn ________. Vertrauen würde ich eher aufbauen, wenn ________.“

OERs zum Thema

Weitere fachlich geeignete Quellen zur Vertiefung:

NIST: Four Principles of Explainable Artificial Intelligence
OECD: AI Principles
EUR-Lex: Verordnung über Künstliche Intelligenz
Wikimedia Commons für frei lizenzierte Medien; die jeweilige Lizenz steht auf der Dateiseite.

Verknüpfte Lernbereiche

Erklärbarkeit von KI beurteilen

aiMOOC-Projekte

Inhalte werden geladen ...

Mediathek wird aus dem Wiki geladen ...

Frag mich zum aktuellen Lerninhalt oder wähle eine kurze Hilfe.

Textmodus bereit

Sprache