Diesen aiMOOC als Battle spielen: Deutsch, Klasse 9-10, G-Niveau

Human Oversight verstehen

Zielgruppe: Schule, Schwerpunkt Klasse 9 Umfang: etwa 1–2 Unterrichtsstunden Fächerübergreifend: Informatik, Deutsch, Mathematik, Technik, Wirtschaft, Geschichte, Ethik und Gemeinschaftskunde

Wenn eine KI einen Vorschlag macht und ein Mensch nur noch auf „Bestätigen“ klickt: Ist das schon echte menschliche Kontrolle? Genau diese Frage steht im Mittelpunkt dieses Kurses.

Einleitung

KI-Systeme können Daten auswerten, Muster erkennen, Texte erzeugen, Risiken schätzen oder Entscheidungen vorbereiten. In vielen Situationen können sie Menschen unterstützen. Je stärker eine solche Empfehlung aber das Leben anderer Menschen beeinflusst, desto wichtiger wird die Frage: Wer versteht, prüft, widerspricht und trägt Verantwortung?

Human Oversight bedeutet menschliche Aufsicht über ein technisches oder KI-gestütztes System. Dabei reicht es nicht, dass irgendwo formal ein Mensch beteiligt ist. Wirksame menschliche Aufsicht setzt voraus, dass eine Person die Aufgabe tatsächlich erfüllen kann: Sie braucht passende Informationen, Kompetenz, genügend Zeit, Handlungsmöglichkeiten und die Befugnis, eine Empfehlung zu ignorieren, zu verändern oder einen Prozess zu stoppen.

Der Kurs zeigt Dir, wie Du solche Mensch-KI-Systeme als Ganzes untersuchst. Du bewertest nicht nur, ob ein Modell „genau“ ist, sondern auch Datenqualität, Fehlerrisiken, Benutzeroberflächen, Zeitdruck, Zuständigkeiten, Grundrechte, Einspruchsmöglichkeiten und gesellschaftliche Folgen.

Kurzer Aktivierungsimpuls: Das Video des KI-Campus erklärt Grundideen von KI. Achte beim Ansehen darauf, an welchen Stellen Menschen Ziele setzen, Daten auswählen, Ergebnisse interpretieren oder Entscheidungen treffen.

Lernziele

Nach diesem Kurs kannst Du ...

Human Oversight in eigenen Worten erklären und von bloßer Anwesenheit eines Menschen unterscheiden.
Human Agency als Fähigkeit beschreiben, eigene Ziele zu verfolgen, begründet zu entscheiden und einer KI-Empfehlung zu widersprechen.
ein Mensch-KI-System als Zusammenspiel von Daten, Modell, Oberfläche, Organisation und betroffenen Menschen analysieren.
Risiken mit Daten und einfachen Kennzahlen bewerten, statt nur auf eine Gesamtgenauigkeit zu schauen.
Automation Bias erkennen und erklären, warum Menschen fehlerhaften Systemempfehlungen trotzdem folgen können.
Zielkonflikte zwischen Effizienz, Sicherheit, Fairness, Datenschutz, Transparenz und Verantwortung abwägen.
an neuen Beispielen prüfen, welche Form menschlicher Kontrolle angemessen ist.
typische Fehlvorstellungen über KI-Verantwortung und menschliche Aufsicht korrigieren.
ein nachvollziehbares Urteil formulieren, das Stakeholder, Grundrechte, Risiken und Alternativen berücksichtigt.

Ablauf für 45 bis 90 Minuten

Phase	Kernidee	Mögliche Dauer
Aktivierung und Diagnose	Drei Aussagen beurteilen und begründen	5–10 Minuten
Einführung	Human Oversight, Human Agency und Kontrollschleifen verstehen	10–15 Minuten
Daten- und Systembewertung	Fehlermatrix und Kennzahlen untersuchen	10–15 Minuten
Fallentscheidung	KI-Prüfungsaufsicht mit mehreren Stakeholdern bewerten	15–30 Minuten
Reflexion und Transfer	Regeln auf neue Situationen übertragen	5–20 Minuten

Für eine einzelne Unterrichtsstunde konzentrierst Du Dich auf Diagnose, Grundidee, Datenbeispiel und Fallentscheidung. Für eine Doppelstunde kommen Rollenarbeit, Medienanalyse, offene Aufgaben und Transfer hinzu.

Aktivierung und Diagnose

Bewerte zunächst ohne Nachschlagen die folgenden Aussagen mit stimme zu, unsicher oder stimme nicht zu. Notiere zu jeder Aussage einen Grund.

„Wenn am Ende ein Mensch auf Bestätigen klickt, ist die Entscheidung automatisch menschlich kontrolliert.“
„Wenn eine KI zu 95 Prozent richtig liegt, braucht man bei wichtigen Entscheidungen kaum noch menschliche Kontrolle.“
„Gute menschliche Aufsicht bedeutet auch, dass ein Mensch begründet Nein zur KI sagen kann.“

Bewahre Deine Antworten auf. Am Ende des Kurses prüfst Du, welche Begründungen Du verändern würdest.

Was bedeutet Human Oversight?

Human Oversight lässt sich als wirksame menschliche Aufsicht über ein automatisiertes oder KI-gestütztes System verstehen. Das Wort „wirksam“ ist entscheidend.

Eine Person kann nur sinnvoll beaufsichtigen, wenn sie ...

die Aufgabe und die Grenzen des Systems ungefähr versteht,
relevante Informationen und Unsicherheiten sehen kann,
genügend Zeit und Aufmerksamkeit für eine Prüfung hat,
nicht nur formal, sondern tatsächlich entscheiden darf,
eine Ausgabe ignorieren, überschreiben oder zurückweisen kann,
bei Gefahr einen Prozess unterbrechen oder stoppen kann,
ihre Entscheidung dokumentieren und begründen kann,
weiß, wer für Folgen, Beschwerden und Korrekturen zuständig ist.

Human Oversight ist deshalb keine einzelne Taste, sondern eine Gestaltung des gesamten Mensch-Technik-Systems.

Human Agency

Human Agency bedeutet, dass Menschen nicht nur passive Empfänger technischer Vorschläge sind. Sie sollen eigene Ziele setzen, Informationen prüfen, Alternativen entwickeln, Entscheidungen begründen und Verantwortung übernehmen können.

Eine KI kann Deine Handlungsmöglichkeiten erweitern, zum Beispiel durch eine schnelle Datenanalyse. Sie kann sie aber auch verkleinern, wenn nur noch eine scheinbar objektive Empfehlung angezeigt wird und andere Optionen unsichtbar werden.

Eine wichtige Leitfrage lautet deshalb:

Macht das System Menschen urteilsfähiger – oder macht es sie nur zu Bestätigern einer automatischen Empfehlung?

Drei typische Formen der Mensch-KI-Zusammenarbeit

Form	Rolle des Systems	Rolle des Menschen	Beispiel
Human in the Loop	System schlägt vor oder bereitet vor	Mensch muss vor einer wichtigen Handlung prüfen und entscheiden	KI markiert auffällige Prüfungssituationen, Lehrkraft prüft Belege
Human on the Loop	System handelt in Grenzen selbstständig	Mensch überwacht und kann eingreifen	Technisches System regelt einen Prozess, Bedienperson kann stoppen
Human out of the Loop	System handelt weitgehend selbstständig	Kein rechtzeitiger menschlicher Eingriff vorgesehen	Niedrigrisikofunktion wie automatische Bildkompression

Keine dieser Formen ist in jedem Fall automatisch gut oder schlecht. Entscheidend sind Risiko, Kontext, mögliche Schäden, Zeitkritik und Grundrechte.

Die Kontrollschleife sichtbar machen

Ein KI-System ist nicht nur das Modell. Für eine faire Bewertung musst Du die gesamte Kette betrachten.

Schritt	Leitfrage
Ziel	Was soll überhaupt erreicht werden, und wer hat dieses Ziel festgelegt?
Daten	Welche Daten fließen ein, fehlen wichtige Informationen oder entstehen Verzerrungen?
Modell	Was berechnet oder empfiehlt das System, und wie unsicher kann das Ergebnis sein?
Oberfläche	Sieht der Mensch Gründe, Alternativen und Unsicherheit oder nur einen großen Score?
Menschliche Prüfung	Hat die prüfende Person Zeit, Kompetenz und echte Entscheidungsfreiheit?
Entscheidung	Wer trifft die Entscheidung und wer ist davon betroffen?
Folgen	Welche positiven und negativen Auswirkungen entstehen?
Rückmeldung	Können Fehler gemeldet, Entscheidungen angefochten und Systeme verbessert werden?

Merksatz: Eine gute Aufsicht braucht nicht nur einen Menschen im Prozess, sondern sinnvolle Kontrollpunkte vor, während und nach dem Einsatz.

Vor, während und nach dem Einsatz

Zeitpunkt	Beispiele für menschliche Kontrolle
Vor dem Einsatz	Zweck festlegen, Risiken prüfen, Daten testen, Zuständigkeiten klären, Personal schulen
Während des Einsatzes	Ergebnisse prüfen, Unsicherheit beachten, zusätzliche Quellen heranziehen, gegebenenfalls überstimmen oder stoppen
Nach dem Einsatz	Entscheidungen dokumentieren, Beschwerden untersuchen, Fehlerstatistiken auswerten, Regeln oder System anpassen

Warum Menschen der Maschine zu schnell glauben können

Ein bekanntes Risiko ist der Automation Bias. Damit ist die Tendenz gemeint, Vorschlägen automatisierter Systeme zu stark zu vertrauen und widersprechende Hinweise zu übersehen.

Das Schaubild sammelt viele kognitive Verzerrungen. Suche nach „Automation bias“. Die Grafik zeigt gleichzeitig etwas Wichtiges: Nicht nur Maschinen können verzerrt sein – auch Menschen treffen ihre Entscheidungen unter kognitiven Einflüssen.

Automation Bias wird wahrscheinlicher, wenn ...

die Aufgabe langweilig oder stressig ist,
eine Person sehr viele Fälle in kurzer Zeit prüfen muss,
die KI-Ausgabe besonders sicher oder objektiv wirkt,
alternative Informationen schwer erreichbar sind,
Menschen glauben, die Technik sei grundsätzlich genauer als sie selbst,
das System selten Fehler zeigt und dadurch Aufmerksamkeit sinkt.

Das bedeutet: Mehr menschliche Beteiligung allein löst das Problem nicht. Eine schlecht gestaltete Kontrollrolle kann zu einer reinen Abnickfunktion werden.

Erklärbarkeit, Transparenz und Kontrolle

Damit ein Mensch sinnvoll prüfen kann, braucht er Informationen. Erklärbare KI versucht, Ausgaben eines Systems für Menschen nachvollziehbarer zu machen.

Das deutschsprachige Kurzvideo des KI-Campus zeigt am Beispiel Medizin, warum Transparenz und erklärbare Schlussfolgerungen für verantwortliche Entscheidungen wichtig sein können.

Eine Erklärung ist aber noch keine vollständige Aufsicht. Selbst eine verständliche Erklärung hilft wenig, wenn ...

die prüfende Person nicht widersprechen darf,
wichtige Daten fehlen,
die Erklärung unzuverlässig oder zu oberflächlich ist,
nur Sekunden für eine Entscheidung bleiben,
niemand für Beschwerden zuständig ist.

Erklärbarkeit unterstützt Human Oversight – sie ersetzt Human Oversight nicht.

Daten- und Systembewertung: Die 75-Prozent-Falle

Stell Dir ein fiktives System vor, das während digitaler Prüfungen mögliche Regelverstöße markiert. Nach einer Pilotphase werden 200 Prüfungssituationen zusätzlich unabhängig von geschulten Menschen geprüft.

	Tatsächlicher Regelverstoß	Kein Regelverstoß	Gesamt
KI markiert auffällig	30	40	70
KI markiert unauffällig	10	120	130
Gesamt	40	160	200

Das System liegt insgesamt in 150 von 200 Fällen richtig: 75 Prozent Genauigkeit.

Das klingt zunächst gut. Für eine beschuldigte Person ist aber eine andere Frage wichtiger: Wie viele Markierungen sind tatsächlich berechtigt?

Von 70 Markierungen sind nur 30 echte Regelverstöße. Das sind ungefähr 43 Prozent. Mehr als die Hälfte der Markierungen wäre in diesem Beispiel also ein Fehlalarm.

Gleichzeitig erkennt das System 30 von 40 tatsächlichen Regelverstößen, also 75 Prozent der echten Fälle.

Was lernst Du aus diesen Zahlen?

Eine einzige Kennzahl beschreibt ein System nicht ausreichend.
Dieselbe Prozentzahl kann je nach Fragestellung etwas völlig anderes bedeuten.
Bei seltenen Ereignissen können selbst scheinbar gute Systeme viele Fehlalarme erzeugen.
Ein Fehlalarm und ein übersehener Fall können unterschiedliche Schäden verursachen.
Human Oversight muss deshalb zu den konkreten Fehlerarten passen.

Mathematik-Verbindung: Hier arbeitest Du mit einer Fehlermatrix, Anteilen, Prozentwerten und unterschiedlichen Bezugsgrößen.

Mini-Aufgabe zur Datenkritik

Berechne oder schätze:

Wie groß ist der Anteil falscher Verdächtigungen unter allen Markierungen?
Wie groß ist der Anteil übersehener Verstöße unter allen tatsächlichen Verstößen?
Welche Kennzahl würdest Du einer Schülerin zeigen, die wissen möchte, wie zuverlässig eine Markierung gegen sie ist?
Welche Kennzahl wäre für eine Schule wichtig, die möglichst wenige tatsächliche Verstöße übersehen möchte?
Warum darf die Entscheidung über Sanktionen trotzdem nicht nur von einer Kennzahl abhängen?

Realistische Anwendungssituation: KI-Prüfungsaufsicht

Eine Schule plant ein digitales System für große Prüfungen. Es wertet Kamerabild, Blickrichtung, Geräusche und Wechsel zwischen Computerfenstern aus. Auffällige Situationen werden mit Zeitstempel markiert. Die Schule verspricht sich weniger Aufwand und einheitlichere Prüfungen.

Datei:AI Police Action Decision Support.webm

Das frei lizenzierte Commons-Video zeigt an einem anderen Entscheidungsbereich, wie Verzerrungen in KI-gestützter Entscheidungsunterstützung entstehen können. Übertrage die Grundidee auf das Schulbeispiel: Wo könnten problematische Daten, Annahmen oder Interpretationen entstehen?

Stakeholder und Zielkonflikte

Stakeholder	Legitime Interessen	Mögliche Risiken
Schülerinnen und Schüler	faire Bewertung, Privatsphäre, nachvollziehbare Verfahren	falsche Verdächtigung, Überwachung, fehlende Einspruchsmöglichkeit
Lehrkräfte	Prüfungsintegrität, weniger Routineaufwand	Automation Bias, Zeitdruck, unklare Verantwortung
Schulleitung	verlässliche Abläufe, Kostenkontrolle, Gleichbehandlung	Vertrauensverlust, Fehlentscheidungen, organisatorische Haftungsfragen
Eltern	Schutz und faire Chancen	schwer verständliche Technik, mangelnde Transparenz
Anbieter	funktionsfähiges Produkt, wirtschaftlicher Erfolg	Interessenkonflikte, zu optimistische Leistungsversprechen
Datenschutzbeauftragte	Datenminimierung, rechtmäßige Verarbeitung, Schutz Betroffener	zu viele gespeicherte Daten, unklare Löschfristen

Hier entstehen echte Zielkonflikte:

Prüfungsintegrität ↔ Privatsphäre Geschwindigkeit ↔ sorgfältige Prüfung einheitliche Regeln ↔ Berücksichtigung besonderer Situationen hohe Erkennungsrate ↔ wenige Fehlalarme Geschäftsgeheimnisse ↔ notwendige Transparenz Automatisierung ↔ menschliche Entscheidungsfreiheit

Vier Handlungsoptionen

Die Schule diskutiert vier Varianten:

Vollautomatische Sanktion: Zwei Markierungen führen automatisch zu einer Prüfungsannullierung.
Menschliche Einzelprüfung: Die KI markiert nur. Eine Lehrkraft prüft Videoausschnitt und Kontext und entscheidet.
Mehrfachprüfung mit Einspruch: Markierungen werden geprüft; bei schweren Folgen prüft eine zweite Person, Betroffene können Stellung nehmen und Einspruch einlegen.
Begrenzter Pilot: Das System wird zunächst nur zur Forschung und Prozessanalyse genutzt; keine Sanktion darf allein auf einer KI-Markierung beruhen.

Es gibt nicht für jede Situation eine einzige ideale Lösung. Deine Aufgabe ist, die Optionen mit begründeten Kriterien zu vergleichen.

Entscheidungsraster

Bewerte jede Option von niedrig bis hoch und begründe anschließend ein Gesamturteil.

Kriterium	Leitfrage
Sicherheit	Wie gut verhindert die Lösung tatsächliche Regelverstöße?
Fairness	Wie wahrscheinlich sind ungerechtfertigte Nachteile?
Privatsphäre	Wie stark werden Personen und Verhalten überwacht?
Transparenz	Können Betroffene verstehen, warum eine Entscheidung getroffen wurde?
Human Agency	Können Menschen sinnvoll prüfen, widersprechen und korrigieren?
Verantwortung	Ist klar, wer entscheidet und wer Fehler behebt?
Aufwand	Ist die Lösung mit realistischer Zeit und Personal umsetzbar?

Rollenentscheidung

Bildet Gruppen mit Rollen: Schülervertretung, Lehrkraft, Schulleitung, Elternvertretung, Anbieter und Datenschutzbeauftragte.

Jede Rolle beantwortet:

Welcher Schaden wäre aus Deiner Sicht besonders schwer?
Welche Daten brauchst Du wirklich?
Welche Fehlerart ist für Dich besonders problematisch?
Welche Mindestinformation muss ein Mensch vor einer Entscheidung sehen?
Wann muss ein Mensch die KI überstimmen?
Welche Einspruchsmöglichkeit braucht es?
Welche Kompromisse würdest Du akzeptieren?

Danach entwerft Ihr gemeinsam eine Regel, die nicht nur „Mensch prüft“ sagt, sondern genau beschreibt, wie menschliche Kontrolle funktioniert.

Ein Sechs-Fragen-Check für Human Oversight

Nutze diese Prüfung bei neuen Beispielen:

Folgen: Wie schwer können Fehler für einzelne Menschen oder die Gesellschaft sein?
Daten: Welche Daten nutzt das System, welche fehlen und welche könnten verzerrt sein?
Leistung: Welche Fehlerarten gibt es und welche Kennzahlen sind für die Situation relevant?
Verständlichkeit: Kann eine prüfende Person Ergebnis, Unsicherheit und Grenzen angemessen verstehen?
Handlungsmacht: Hat diese Person Zeit, Kompetenz und Befugnis zum Widerspruch, Override oder Stopp?
Verantwortung: Sind Dokumentation, Zuständigkeit, Beschwerde und Korrektur geregelt?

Je höher mögliche Schäden oder Grundrechtseingriffe sind, desto stärker müssen Kontrolle, Nachvollziehbarkeit und Schutzmaßnahmen sein.

Grundrechte, Werte und Verantwortung

Human Oversight ist nicht nur eine technische Frage. Je nach Einsatz können Grundrechte berührt sein, etwa Gleichbehandlung, Privatsphäre, Datenschutz, Bildungschancen oder ein wirksamer Rechtsschutz.

Aus ethischer Sicht musst Du außerdem Werte gegeneinander abwägen. Ein System kann beispielsweise effizient sein, aber gleichzeitig Menschen ungerecht behandeln. Ein sehr transparentes Verfahren kann nachvollziehbar sein, aber zu viele persönliche Daten offenlegen. Ein besonders vorsichtiger Prozess kann sicherer, aber langsamer und teurer sein.

Verantwortung bedeutet deshalb nicht, jedes Risiko auf null zu setzen. Verantwortung bedeutet, Risiken sichtbar zu machen, angemessen zu begrenzen, Betroffene einzubeziehen und Entscheidungen begründen zu können.

Der EU AI Act als aktueller Bezug

Die europäische KI-Verordnung der EU unterscheidet verschiedene Risikobereiche. KI-Systeme, die in Bildungseinrichtungen unter anderem zur Bewertung von Lernergebnissen oder zur Überwachung und Erkennung verbotenen Verhaltens bei Prüfungen eingesetzt werden, werden im Anhang III als Hochrisikoanwendungen beschrieben.

Artikel 14 behandelt menschliche Aufsicht. Für Hochrisiko-KI sollen die zuständigen Menschen – jeweils angemessen zum Risiko und Kontext – unter anderem Fähigkeiten und Grenzen des Systems verstehen, auf Automation Bias achten, Ausgaben richtig interpretieren, Ergebnisse gegebenenfalls ignorieren oder überstimmen und bei Bedarf eingreifen oder das System sicher anhalten können.

Wichtig ist: Rechtliche Anforderungen können je nach konkretem System, Zweck und Zeitpunkt ihrer Anwendbarkeit unterschiedlich sein. Für diesen Kurs steht die allgemeine Idee im Mittelpunkt: Je folgenreicher automatisierte Entscheidungen sind, desto weniger darf menschliche Kontrolle nur symbolisch sein.

Human Oversight ist mehr als Technik

Die Grafik stammt aus einer Untersuchung von 200 Leitlinien und Empfehlungen zur KI-Governance. Sie zeigt, wie häufig verschiedene Prinzipien in dieser Stichprobe vorkamen.

Quellenkritische Aufgabe: Was kann die Grafik zeigen – und was nicht?

Sie kann zeigen, welche Begriffe in der untersuchten Sammlung häufig vorkamen. Sie kann aber nicht allein beweisen, welches Prinzip am wichtigsten ist, wie gut eine Leitlinie umgesetzt wird oder wie gerecht ein konkretes KI-System tatsächlich arbeitet.

Das ist ein wichtiger Unterschied zwischen Datenbeschreibung und Werturteil.

Fächerübergreifende Perspektiven

Fach	Verbindung zum Thema	Denkfrage
Informatik	Daten, Modelle, Benutzeroberflächen, Protokolle, Override und Systemgrenzen	Welche Informationen muss eine gute Kontrolloberfläche anzeigen?
Mathematik	Prozentrechnung, Fehlermatrix, Basisraten, unterschiedliche Kennzahlen	Warum kann 75 Prozent Genauigkeit trotzdem zu vielen Fehlalarmen führen?
Deutsch	Argumentieren, Begründen, Quellenkritik und verständliche Erklärungen	Wie formuliert man ein Urteil, das Gegenargumente ernst nimmt?
Technik	Mensch-Maschine-Schnittstelle, Fail-Safe, Stopmechanismen	Wie muss ein System gebaut sein, damit Eingreifen praktisch möglich ist?
Wirtschaft	Effizienz, Kosten, Anreize, Produktversprechen und Verantwortung	Wann spart Automatisierung nur scheinbar Kosten, weil Prüfaufwand später entsteht?
Geschichte	Geschichte der Automatisierung und früherer Mensch-Maschine-Systeme	Welche Kontrollprobleme gab es schon vor heutiger KI?
Ethik	Werteabwägung, Würde, Gerechtigkeit, Verantwortung	Wann darf Effizienz hinter Fairness oder Schutzrechten zurückstehen?
Gemeinschaftskunde	Regulierung, Grundrechte, demokratische Kontrolle und Beteiligung	Wer sollte Regeln für besonders folgenreiche KI-Systeme mitgestalten?

Typische Fehlvorstellungen korrigieren

Fehlvorstellung	Korrektur
„Ein Mensch im Prozess bedeutet automatisch Human Oversight.“	Nur wenn die Person Informationen, Zeit, Kompetenz und echte Entscheidungsbefugnis besitzt.
„Je mehr Menschen kontrollieren, desto sicherer ist das System.“	Nicht unbedingt. Unklare Rollen, Zeitdruck oder Gruppendenken können zusätzliche Probleme schaffen.
„Eine hohe Gesamtgenauigkeit beweist Fairness.“	Nein. Fehlerarten, Gruppen, Einsatzbedingungen und Folgen müssen getrennt betrachtet werden.
„Wenn die KI eine Erklärung liefert, ist die Entscheidung nachvollziehbar.“	Eine Erklärung kann unvollständig sein. Zusätzlich braucht es Kontext, Datenkritik, Zuständigkeit und Einspruch.
„Die KI trägt die Verantwortung für ihre Entscheidung.“	Verantwortung muss bei Menschen und Organisationen geregelt bleiben; ein technisches System ersetzt keine Rechenschaftspflicht.
„Human Oversight bedeutet, dass Menschen jede Kleinigkeit selbst entscheiden.“	Nein. Die Intensität der Kontrolle sollte zum Risiko passen.

Transferbeispiele

Prüfe mit dem Sechs-Fragen-Check, wie viel menschliche Aufsicht nötig wäre:

Eine KI sortiert Spam-E-Mails.
Ein Navigationssystem schlägt eine schnellere Route vor.
Eine KI empfiehlt, welche Bewerbungen zu einem Vorstellungsgespräch eingeladen werden.
Ein medizinisches System markiert auffällige Röntgenbilder.
Eine Software entscheidet über die Freigabe eines hohen Kredits.
Ein technisches System steuert eine Maschine in einer Fabrik.
Eine KI formuliert einen Entwurf für einen Schulaufsatz.
Eine Behörde nutzt ein System zur Priorisierung von Anträgen.

Die zentrale Transferfrage lautet: Welche Folgen hätte ein Fehler – und welche menschliche Kontrolle müsste deshalb möglich sein?

Selbstkontrolle vor den interaktiven Aufgaben

Beantworte aus dem Kopf:

Kann ich Human Oversight in einem Satz erklären?
Kann ich drei Bedingungen nennen, die menschliche Kontrolle wirksam machen?
Kann ich erklären, warum 75 Prozent Genauigkeit nicht automatisch 75 Prozent zuverlässige Warnungen bedeuten?
Kann ich ein Beispiel für Automation Bias nennen?
Kann ich bei einem neuen Fall Stakeholder und Zielkonflikte bestimmen?
Kann ich begründen, wann Override, Stop oder Einspruch nötig sind?

Wenn Du bei mindestens zwei Punkten unsicher bist, gehe noch einmal zum Sechs-Fragen-Check zurück.

Quellen und Vertiefung

Interaktive Aufgaben

Quiz: Teste Dein Wissen

Wann ist menschliche Aufsicht besonders wirksam? (Wenn die prüfende Person Informationen, Zeit und echte Eingriffsbefugnis hat) (!Wenn eine Person nur formell als Verantwortliche eingetragen ist) (!Wenn jede KI-Ausgabe automatisch übernommen wird) (!Wenn das System möglichst viele Daten sammelt)

Was beschreibt Automation Bias? (Die Tendenz, automatisierten Empfehlungen zu stark zu vertrauen) (!Die Fähigkeit eines Modells, sich selbst abzuschalten) (!Die vollständige Unabhängigkeit eines Menschen von Technik) (!Die Verschlüsselung personenbezogener Daten)

Warum reicht eine hohe Gesamtgenauigkeit für eine Systembewertung nicht aus? (Weil unterschiedliche Fehlerarten und ihre Folgen getrennt betrachtet werden müssen) (!Weil Prozentwerte bei KI grundsätzlich bedeutungslos sind) (!Weil nur die Geschwindigkeit eines Systems wichtig ist) (!Weil menschliche Entscheidungen immer fehlerfrei sind)

Was ist ein Override? (Das bewusste Überstimmen oder Ändern einer Systemausgabe) (!Das automatische Speichern aller Eingabedaten) (!Das Trainieren eines Modells mit mehr Daten) (!Das Verbergen einer Entscheidung vor Betroffenen)

Welche Eigenschaft gehört zu Human Agency? (Eine KI-Empfehlung begründet ablehnen zu können) (!Jede Empfehlung ohne Prüfung zu übernehmen) (!Alle Entscheidungen an ein Modell abzugeben) (!Nur die technische Geschwindigkeit zu bewerten)

Welche Frage gehört zur Datenkritik? (Welche Daten fehlen oder könnten systematisch verzerrt sein) (!Welche Bildschirmfarbe hat die Anwendung) (!Wie lang ist der Produktname) (!Wie viele Werbeslogans nutzt der Anbieter)

Warum ist eine Einspruchsmöglichkeit wichtig? (Weil Betroffene Fehler anfechten und eine erneute Prüfung verlangen können) (!Weil dadurch jedes KI-System automatisch genauer wird) (!Weil dann keine Dokumentation mehr nötig ist) (!Weil dadurch alle Entscheidungen sofort gelöscht werden)

Welche Aussage über Erklärbarkeit ist richtig? (Erklärbarkeit kann menschliche Kontrolle unterstützen, ersetzt sie aber nicht) (!Erklärbarkeit macht jede Entscheidung automatisch fair) (!Erklärbarkeit beseitigt alle Datenfehler) (!Erklärbarkeit macht menschliche Verantwortung überflüssig)

Welche Gestaltung verringert das Risiko einer reinen Abnickkontrolle? (Die prüfende Person sieht Alternativen, Unsicherheit und darf widersprechen) (!Die KI-Ausgabe wird möglichst groß und endgültig dargestellt) (!Für jede Prüfung stehen nur wenige Sekunden zur Verfügung) (!Widerspruch gegen die KI wird technisch verhindert)

Welche Grundidee passt am besten zu risikobasierter Aufsicht? (Je schwerer mögliche Folgen sind, desto stärker müssen Kontrolle und Schutzmaßnahmen sein) (!Jedes KI-System braucht immer exakt dieselbe Aufsicht) (!Niedrigrisikosysteme müssen immer von zwei Personen geprüft werden) (!Bei hoher Geschwindigkeit ist menschliche Kontrolle grundsätzlich unnötig)

Memory

Human Oversight	Wirksame menschliche Aufsicht
Human Agency	Eigene begründete Entscheidungen treffen können
Automation Bias	Übermäßiges Vertrauen in Systemempfehlungen
Override	Eine Systemausgabe überstimmen
Stopmechanismus	Einen Prozess sicher unterbrechen
Nachvollziehbarkeit	Einen Entscheidungsweg rekonstruieren können
Einspruch	Eine Entscheidung erneut prüfen lassen
Stakeholder	Betroffene oder beteiligte Interessengruppe

Drag and Drop

Ordne die richtigen Begriffe zu.	Thema
Vor dem Einsatz	Risiken prüfen und Zuständigkeiten festlegen
Während der Nutzung	Ergebnis und Kontext kritisch vergleichen
Bei Unsicherheit	Zusätzliche Informationen heranziehen
Bei Gefahr	Überstimmen oder sicher stoppen
Nach der Entscheidung	Dokumentieren und Einspruch ermöglichen

Kreuzworträtsel

Aufsicht	Wie heißt die menschliche Kontrolle eines KI-Systems auf Deutsch?
Fairness	Welcher Begriff beschreibt eine gerechte Behandlung ohne sachlich unbegründete Benachteiligung?
Transparenz	Wie heißt die Eigenschaft, durch die Abläufe und Informationen besser nachvollziehbar werden?
Einspruch	Wie heißt die Möglichkeit, eine Entscheidung anzufechten?
Bias	Wie heißt eine systematische Verzerrung mit einem kurzen englischen Fachwort?
Verantwortung	Was muss bei Mensch-KI-Entscheidungen klar zugeordnet bleiben?

LearningApps

Lückentext

Human Oversight bedeutet wirksame

über ein automatisiertes oder KI-gestütztes System.

Eine prüfende Person braucht echte

, damit sie einer Empfehlung widersprechen kann.

Übermäßiges Vertrauen in automatisierte Vorschläge wird als

bezeichnet.

Eine hohe Gesamtgenauigkeit reicht nicht aus, weil verschiedene

unterschiedliche Folgen haben können.

Ein technisches Verfahren zum Überstimmen einer Ausgabe wird als

bezeichnet.

Gute Kontrolle betrachtet nicht nur das Modell, sondern das gesamte

.

Betroffene benötigen bei folgenreichen Entscheidungen eine nachvollziehbare Möglichkeit zum

.

Je schwerer mögliche Schäden sind, desto stärker müssen

und Kontrolle gestaltet werden.

Offene Aufgaben

Leicht

Alltagsbeispiel: Finde eine Alltagssituation, in der Technik einen Vorschlag macht. Markiere, wo ein Mensch entscheiden, widersprechen oder stoppen kann.
Werbeanalyse: Suche eine Werbung oder Produktbeschreibung für ein KI-System. Untersuche Formulierungen, die übermäßiges Vertrauen fördern könnten.
Kontrollschleife zeichnen: Zeichne für ein Navigationssystem die Kette Daten → Empfehlung → menschliche Prüfung → Entscheidung → Rückmeldung.
Fehlvorstellung erklären: Erkläre in höchstens 120 Wörtern, warum „Ein Mensch klickt am Ende“ noch keine wirksame Aufsicht beweist.

Standard

Entscheidungsmemo: Verfasse ein kurzes Memo an eine Schulleitung. Nenne mindestens drei Bedingungen, unter denen Du einen begrenzten Einsatz akzeptabel oder nicht akzeptabel fändest.
Fehlermatrix auswerten: Nutze die Daten aus der 75-Prozent-Falle. Erkläre aus Sicht einer Schülerin und aus Sicht einer Lehrkraft, welche Kennzahlen jeweils besonders relevant sind.
Stakeholder-Interview: Befrage eine erwachsene Person dazu, wer bei einer fehlerhaften KI-Empfehlung Verantwortung tragen sollte. Vergleiche die Antwort mit Deinem eigenen Urteil.
Benutzeroberfläche für Kontrolle: Entwirf auf Papier eine Oberfläche, die einer prüfenden Person Gründe, Unsicherheit, alternative Informationen sowie Override und Stop sichtbar macht.

Schwer

Rollenverhandlung: Simuliere mit mehreren Rollen eine Verhandlung über KI-Prüfungsaufsicht. Dokumentiere Konflikte und einen begründeten Kompromiss.
Fairness und Genauigkeit: Entwickle zwei unterschiedliche Kennzahlen, mit denen Du ein fiktives System bewerten würdest. Begründe, warum eine einzige Kennzahl nicht genügt.
KI-Regelwerk für eine Schule: Formuliere fünf überprüfbare Regeln für verantwortlichen KI-Einsatz an einer Schule. Jede Regel muss festlegen, wer prüfen, widersprechen oder korrigieren darf.
Transferanalyse: Wähle einen neuen Bereich wie Medizin, Bewerbung, Kredit, Verkehr oder Verwaltung. Erstelle eine vollständige Risiko- und Oversight-Analyse mit Stakeholdern, Fehlerarten, Grundrechten und Einspruchsweg.

Lernkontrolle

Berufsorientierung: Eine KI sortiert Bewerbungen für ein knappes schulisches Berufsorientierungsprogramm. Entwickle eine Aufsichtslösung, die Effizienz und faire Chancen abwägt. Begründe mindestens drei konkrete Kontrollmechanismen.
Kennzahlen beurteilen: Ein Anbieter wirbt mit „92 Prozent Genauigkeit“. Formuliere mindestens fünf Rückfragen, die Du stellen müsstest, bevor diese Zahl für eine Entscheidung aussagekräftig wird.
Wertekonflikt lösen: Ein System wird transparenter, wenn mehr persönliche Daten angezeigt werden. Entwickle eine Lösung, die Transparenz und Datenschutz möglichst gut verbindet.
Automation Bias reduzieren: Entwirf drei Veränderungen an Oberfläche, Arbeitsablauf oder Schulung, die übermäßiges Vertrauen in eine KI-Empfehlung verringern könnten. Begründe jede Veränderung.
Urteil mit Stakeholdern: Bewerte die Aussage „Bei wichtigen Entscheidungen sollte immer der Mensch das letzte Wort haben.“ Zeige mindestens einen Fall, in dem die Aussage sinnvoll ist, und einen Fall, in dem sie zu einfach formuliert ist.
Fehlvorstellungen korrigieren: Widerlege drei typische Fehlvorstellungen aus dem Kurs an selbst gewählten neuen Beispielen.

Lernnachweis

Für einen überzeugenden Lernnachweis zu Human Oversight verstehen ist wichtig, dass Du ...

die Grundidee von Human Oversight verständlich in eigenen Worten erklären kannst,
Human Oversight von rein formeller menschlicher Beteiligung unterscheiden kannst,
Human Agency, Automation Bias, Override und Einspruch in passenden Zusammenhängen verwendest,
ein Mensch-KI-System als Daten-, Modell-, Organisations- und Entscheidungssystem analysierst,
Kennzahlen und Fehlerarten angemessen interpretierst,
Stakeholder und Zielkonflikte erkennst,
Grundrechte und Werte in eine Entscheidung einbeziehst,
konkrete Kontrollmaßnahmen entwirfst,
Dein Urteil mit nachvollziehbaren Gründen und Gegenargumenten begründest,
die Idee auf neue Beispiele übertragen und typische Fehlvorstellungen korrigieren kannst.

OERs zum Thema

Verknüpfte Lernbereiche

Human Oversight verstehen

aiMOOC-Projekte

Inhalte werden geladen ...

Mediathek wird aus dem Wiki geladen ...

Frag mich zum aktuellen Lerninhalt oder wähle eine kurze Hilfe.

Textmodus bereit

Sprache