Diesen aiMOOC als Battle spielen: Deutsch, Klasse 9-10, G-Niveau

Human Oversight gestalten

Einleitung

Wenn ein KI-System eine Empfehlung ausgibt, ist noch keine verantwortliche Entscheidung gefallen. Human Oversight bedeutet, menschliche Kontrolle so zu gestalten, dass Menschen ein KI-System tatsächlich verstehen, prüfen, begrenzen, überstimmen, stoppen und seine Folgen verantworten können. Entscheidend ist nicht, dass irgendwo ein Mensch „OK“ anklickt, sondern dass dieser Mensch genügend Informationen, Zeit, Kompetenz und Befugnisse besitzt, um eigenständig zu urteilen.

In diesem Lernkurs untersuchst Du Human Oversight als Aufgabe des Systemdesigns, der Evaluation, der Governance, der Ethik und der demokratischen Gestaltung. Du arbeitest mit einem realistischen Schulfall, prüfst Zielkonflikte, berechnest Fehlerraten, entwickelst Kontrollpunkte und testest Deine eigene Lösung an schwierigen Grenzfällen.

Bildimpuls: Wo endet in einem KI-gestützten Prozess die Leistung des Systems – und wo beginnt menschliche Verantwortung?

Lernziele

Am Ende kannst Du nicht nur erklären, was Human Oversight bedeutet. Du kannst ein KI-gestütztes Entscheidungssystem als soziotechnisches System untersuchen und selbst gestalten. Dabei sollst Du:

Human Agency: begründen, welche Entscheidungen beim Menschen bleiben müssen und welche Aufgaben automatisiert unterstützt werden können.
Systemdesign: Kontrollpunkte, Stop-Möglichkeiten, Eskalationswege und Beschwerdeverfahren in einen Prozess einbauen.
Evaluation: nicht nur die KI, sondern das Zusammenspiel aus Daten, Modell, Benutzeroberfläche, menschlicher Entscheidung und realen Folgen testen.
Mathematik: Fehlentscheidungen mit Wahr-Positiv-, Falsch-Positiv-, Wahr-Negativ- und Falsch-Negativ-Fällen untersuchen.
Ethik: Grundrechte, Fairness, Sicherheit, Transparenz, Autonomie und Effizienz gegeneinander abwägen.
Governance: Verantwortung auf Rollen verteilen, ohne Verantwortung an die Technik abzuschieben.
Folgenabschätzung: vorhersehen, wer durch Fehler besonders belastet werden könnte und welche Schutzmaßnahmen nötig sind.
Argumentation: eine Entscheidung nachvollziehbar, adressatengerecht und quellenkritisch begründen.
Transfer: das entwickelte Kontrollkonzept auf neue Fälle aus Schule, Wirtschaft, Verwaltung oder Technik übertragen.

Ablauf für 1–2 Unterrichtsstunden

Phase	Zeit	Aktivität	Kompetenz
Aktivierung	5–8 Minuten	Kurze Entscheidungssituation und Positionslinie	Vorwissen, Human Agency
Einführung	12–15 Minuten	Human Oversight, Automation Bias, Kontrollformen und Grundrechte	Verstehen, analysieren
Evaluation	10–15 Minuten	Fehlermatrix und Grenzfälle	Mathematik, Fairness
Anwendung	20–30 Minuten	Fall „KI-gestützte Lernförderung“	Systemdesign, Werteabwägung, Governance
Test und Verbesserung	10–15 Minuten	Red-Team-Test des eigenen Entwurfs	Evaluation, Sicherheit
Reflexion und Transfer	8–12 Minuten	Begründung, Selbstkontrolle und neuer Fall	Urteil, Transfer

Für eine einzelne 45-Minuten-Stunde kannst Du Aktivierung, Einführung und einen verkürzten Fall bearbeiten. Für 90 Minuten eignet sich der vollständige Lernpfad einschließlich Test, Verbesserung und Transfer.

Aktivierung und Diagnose: Wer entscheidet?

Stell Dir vor, Deine Schule hat nur 30 Plätze für ein kostenloses Lernförderprogramm. Ein KI-System berechnet für alle Schülerinnen und Schüler einen Unterstützungswert. Die 30 höchsten Werte sollen automatisch einen Platz erhalten.

Positioniere Dich spontan zwischen zwei Polen: „Das System soll automatisch entscheiden“ und „Jede Entscheidung muss vollständig von Menschen getroffen werden“. Begründe Deine Position mit genau einem Argument.

Prüfe anschließend Deine erste Reaktion mit drei Diagnosefragen:

Welche Information könnte dem KI-System fehlen?
Welche menschliche Entscheidung könnte unfair oder voreingenommen sein?
Wer sollte eine Entscheidung korrigieren dürfen, wenn eine betroffene Person einen Fehler entdeckt?

Es gibt hier nicht automatisch nur eine richtige Organisationsform. Die Aufgabe besteht darin, menschliche und technische Stärken so zu kombinieren, dass Verantwortung, Rechte und Sicherheit erhalten bleiben.

Grundlagen: Was ist Human Oversight?

Human Oversight bezeichnet die wirksame menschliche Aufsicht über ein automatisiertes oder KI-gestütztes System. Der Mensch soll nicht bloß formell beteiligt sein. Er muss das System in einem für die Aufgabe ausreichenden Maß verstehen, seine Grenzen kennen und die Möglichkeit haben, eine Empfehlung nicht zu übernehmen.

Das kurze Video „What is human in the loop?“ der Local Government Association eignet sich als Einstieg in sinnvolle menschliche Aufsicht.

Drei Formen menschlicher Beteiligung

Form	Rolle des Menschen	Stärke	Risiko
Human-in-the-loop	Ein Mensch prüft oder bestätigt einzelne Entscheidungen.	Direkte Kontrolle bei wichtigen Einzelfällen.	Die Prüfung kann zur bloßen Routine werden.
Human-on-the-loop	Das System arbeitet teilweise selbstständig; Menschen überwachen und greifen bei Auffälligkeiten ein.	Gut für viele laufende Vorgänge.	Fehler können unbemerkt bleiben, wenn Warnsignale schlecht gestaltet sind.
Governance über den gesamten Prozess	Menschen setzen Ziele, Regeln, Prüfkriterien, Rollen und Eskalationswege und überprüfen das System regelmäßig.	Betrachtet auch langfristige und gesellschaftliche Folgen.	Verantwortung kann unklar werden, wenn Rollen nicht ausdrücklich festgelegt sind.

Human-out-of-the-loop bedeutet dagegen, dass während eines relevanten Vorgangs keine wirksame menschliche Eingriffsmöglichkeit vorgesehen ist. Bei folgenreichen Entscheidungen ist deshalb die Frage entscheidend, ob ein solcher Automatisierungsgrad überhaupt verantwortbar ist.

Bedeutungsvolle Kontrolle statt Alibi-Klick

Ein Mensch „in der Schleife“ garantiert noch keine gute Kontrolle. Stelle Dir vor, eine Lehrkraft muss 300 KI-Empfehlungen in zehn Minuten bestätigen. Formal entscheidet ein Mensch; praktisch kann echte Prüfung unmöglich sein. Sinnvolle Aufsicht braucht daher mehrere Bedingungen.

Prüffrage	Warum sie wichtig ist
Hat die Person genügend Zeit?	Ohne Zeit entsteht leicht automatisches Abnicken.
Besitzt sie ausreichende Kompetenz?	Nur wer Daten, Grenzen und Fehlerarten kennt, kann sinnvoll prüfen.
Erhält sie relevante Informationen?	Ein Score ohne Begründung oder Kontext erschwert ein eigenständiges Urteil.
Hat sie echte Befugnisse?	Sie muss eine Empfehlung ignorieren, ändern oder stoppen dürfen.
Gibt es einen Eskalationsweg?	Schwierige Fälle brauchen eine zuständige nächste Stelle.
Werden Entscheidungen dokumentiert?	Nur dann lassen sich Fehler untersuchen und Verantwortlichkeiten nachvollziehen.
Können Betroffene widersprechen?	Kontrolle umfasst auch Korrektur und Rechtsschutz nach einer Entscheidung.

Automation Bias: Wenn der Computer zu überzeugend wirkt

Automation Bias bezeichnet die Tendenz, Vorschlägen automatisierter Systeme zu stark zu vertrauen. Ein Score von „92 %“ kann objektiv wirken, obwohl die Daten unvollständig sind, der Kontext nicht passt oder die Unsicherheit falsch verstanden wird. Auch erfahrene Menschen können auf automatisierte Empfehlungen hereinfallen.

Deshalb sollte eine Benutzeroberfläche nicht nur das Ergebnis zeigen. Sie sollte auch Unsicherheiten, Datenlücken, Warnhinweise und relevante Gegenargumente sichtbar machen. Zusätzlich muss die Organisation erlauben, dass Menschen ohne Nachteil widersprechen können.

Das Video „What are algorithms?“ zeigt, warum Daten, Nachvollziehbarkeit und menschliche Verantwortlichkeit gemeinsam betrachtet werden müssen.

Systemdesign: Kontrolle in den Ablauf einbauen

Ein KI-System ist nicht nur ein Modell. Es ist Teil eines Ablaufs aus Zielen, Daten, technischen Komponenten, Benutzeroberflächen, menschlichen Entscheidungen und Rückmeldungen.

Ein vereinfachter Kontrollkreislauf kann so gedacht werden:

Schritt	Leitfrage für Human Oversight
Ziel festlegen	Welches Problem soll gelöst werden, und sollte dafür überhaupt KI eingesetzt werden?
Daten auswählen	Welche Daten sind relevant, korrekt und angemessen? Welche Daten sollten bewusst nicht verwendet werden?
Modell ausgeben lassen	Welche Empfehlung, Klassifikation oder Prognose wird erzeugt?
Menschlich prüfen	Was muss die prüfende Person sehen, verstehen und hinterfragen können?
Entscheiden und handeln	Wer darf freigeben, ändern, stoppen oder eskalieren?
Wirkung beobachten	Welche realen Folgen hat die Entscheidung für verschiedene Betroffene?
Lernen und verbessern	Welche Fehler, Beschwerden und neuen Daten führen zu einer Anpassung des Systems oder des Verfahrens?

Kontrollpunkte im System

Ein gutes Oversight-Design verteilt Kontrolle über den gesamten Lebenszyklus. Typische Kontrollpunkte sind eine Prüfung der Eingabedaten, Grenzwerte für automatische Entscheidungen, menschliche Freigaben bei Unsicherheit, ein Stop-Mechanismus, Beschwerdewege, Stichproben, regelmäßige Audits und eine klare Regel dafür, wann ein System abgeschaltet oder neu bewertet werden muss.

Wichtig: Je höher mögliche Schäden sind, desto stärker müssen Kontrollmaßnahmen, Kompetenzen und Eskalationsmöglichkeiten ausgeprägt sein. Ein Tippfehler in einer automatisch erzeugten Übungsfrage braucht andere Kontrollen als eine Entscheidung über Schulzugang, medizinische Behandlung oder existenzsichernde Leistungen.

Ein didaktisches Oversight-Raster

Für diesen Kurs kannst Du ein einfaches Acht-Felder-Raster verwenden. Es ist ein Lernwerkzeug und kein offizielles Rechtsprüfschema.

Feld	Leitfrage
Zweck	Welches Problem wird gelöst, und ist KI dafür notwendig?
Betroffene	Wer trägt Nutzen, Fehler und Risiken?
Daten	Sind Daten relevant, aktuell, vollständig und rechtmäßig nutzbar?
Fehler	Welche falschen positiven und falschen negativen Entscheidungen sind möglich?
Rechte und Werte	Welche Grundrechte, Interessen und Wertkonflikte sind betroffen?
Menschliche Kontrolle	Wer kann prüfen, überstimmen, stoppen und eskalieren?
Rechenschaft	Wie werden Gründe, Zuständigkeiten und Änderungen dokumentiert?
Monitoring	Woran erkennen wir nach dem Einsatz, ob das System besser, schlechter oder unfairer wird?

Evaluation: Das Gesamtsystem testen

Eine hohe Modellgenauigkeit reicht nicht aus. Ein System kann im Durchschnitt gut sein und trotzdem bestimmte Gruppen systematisch schlechter behandeln. Außerdem kann ein Modell korrekt warnen, während Menschen seine Warnung falsch interpretieren. Umgekehrt kann ein mittelmäßiges Modell durch ein sehr gutes Prüfverfahren sicherer werden.

Die Zielscheiben veranschaulichen den Unterschied zwischen systematischer Verzerrung und zufälliger Streuung. Für KI-Systeme ist wichtig: Fehler können nicht nur häufig, sondern auch ungleich verteilt sein.

Mathematisches Beispiel: Lernförderung

Eine Schule testet ein System mit 100 früheren Fällen. Im Nachhinein ist bekannt, welche Schülerinnen und Schüler tatsächlich zusätzliche Lernförderung gebraucht hätten.

	Tatsächlich Förderbedarf	Tatsächlich kein Förderbedarf
System empfiehlt Förderung	16 Wahr-Positive	12 Falsch-Positive
System empfiehlt keine Förderung	4 Falsch-Negative	68 Wahr-Negative

Daraus folgt:

Trefferquote bei tatsächlich Förderbedürftigen, auch Recall: 16 von 20 = 80 %.

Präzision der Förderempfehlungen: 16 von 28 ≈ 57 %.

Das wirkt unterschiedlich, obwohl dieselbe Fehlermatrix betrachtet wird. Genau deshalb muss zuerst geklärt werden, welcher Fehler schwerer wiegt.

Ein Falsch-Positiv bedeutet hier: Eine Person erhält einen Platz, obwohl sie ihn vermutlich nicht benötigt. Ein Falsch-Negativ bedeutet: Eine Person mit tatsächlichem Unterstützungsbedarf wird übersehen.

Die mathematische Aufgabe ist deshalb nicht nur „Wie hoch ist die Genauigkeit?“, sondern auch: Welche Fehlerkosten, Rechte und Folgen sind mit den verschiedenen Fehlertypen verbunden?

Schwellenwerte sind Wertentscheidungen

Wenn ein System einen Risikoscore zwischen 0 und 100 ausgibt, kann ein Schwellenwert von 70 viele Personen ausschließen. Senkt man ihn auf 55, werden mehr Förderbedürftige gefunden, aber vermutlich auch mehr Personen fälschlich markiert. Der Schwellenwert ist damit keine rein technische Zahl. Er verkörpert eine Abwägung zwischen knappen Ressourcen, Übersehen von Bedarf, unnötiger Markierung und Fairness.

Eine verantwortliche Oversight-Regel könnte deshalb lauten: Fälle nahe am Schwellenwert werden grundsätzlich menschlich geprüft, und die Schule dokumentiert, wie oft Menschen die KI-Empfehlung verändern und aus welchen Gründen.

Fairness, Grundrechte und Werteabwägung

Human Oversight ist besonders wichtig, wenn Entscheidungen Grundrechte oder zentrale Lebenschancen berühren. Relevante Maßstäbe können etwa Menschenwürde, Gleichbehandlung, Datenschutz, Privatsphäre, Bildungsgerechtigkeit, faire Verfahren und wirksame Beschwerdemöglichkeiten sein.

Bei einer Werteabwägung stehen häufig mehrere legitime Ziele gleichzeitig im Raum:

Ziel	Möglicher Konflikt
Effizienz	Schnellere Entscheidungen können weniger Zeit für Einzelfallprüfung lassen.
Konsistenz	Einheitliche Regeln können besondere Lebenslagen übersehen.
Fairness	Unterschiedliche Fairness-Kriterien können zu unterschiedlichen Ergebnissen führen.
Datenschutz	Mehr Daten können Prognosen verbessern, zugleich aber stärker in die Privatsphäre eingreifen.
Transparenz	Vollständige technische Details sind nicht automatisch verständlich.
Sicherheit	Mehr Kontrolle kann Prozesse verlangsamen, aber schwere Schäden verhindern.
Autonomie	Unterstützende Empfehlungen können helfen, dürfen menschliche Selbstbestimmung aber nicht verdrängen.

Der Europarat verbindet KI-Fragen mit Menschenrechten. Nutze das Video als Anlass, technische Entscheidungen nicht nur nach Leistungswerten zu beurteilen.

Aktueller europäischer Rahmen

Der EU AI Act enthält für Hochrisiko-KI ein eigenes Konzept menschlicher Aufsicht. Artikel 14 beschreibt unter anderem, dass zuständige Menschen Fähigkeiten und Grenzen des Systems verstehen, den Betrieb beobachten, Ergebnisse richtig einordnen und eine Ausgabe ignorieren, überstimmen oder rückgängig machen können sollen. Auch die Möglichkeit, ein System sicher anzuhalten, gehört dazu. Der Artikel warnt ausdrücklich vor übermäßigem Vertrauen in automatisierte Ausgaben.

Die Anwendung der EU-Regeln erfolgt stufenweise. Seit dem 2. August 2026 gelten viele Vorschriften und die Durchsetzung anwendbarer Regeln hat begonnen. Nach der 2026 geänderten Zeitschiene sollen die besonderen Regeln für eigenständige Hochrisiko-Systeme nach Anhang III ab dem 2. Dezember 2027 und für bestimmte in regulierte Produkte eingebettete Hochrisiko-Systeme ab dem 2. August 2028 gelten. Für einen konkreten Schulfall hängt die rechtliche Einordnung von der genauen Funktion und Nutzung des Systems ab.

Quellen zur Vertiefung:

Governance: Wer entscheidet, wer kontrolliert?

Governance bedeutet, Regeln, Rollen und Verantwortlichkeiten so festzulegen, dass Kontrolle nicht vom Zufall abhängt. Eine gute Organisation verhindert die Aussage: „Das hat die KI entschieden.“

Rolle	Mögliche Verantwortung	Kritische Frage
Lernende	Betroffene, Rückmeldung, Widerspruch	Können sie verstehen, wann KI beteiligt war und wie sie eine Entscheidung anfechten?
Lehrkraft	Fachliche Prüfung im Einzelfall	Hat sie Zeit, Informationen und Befugnis zum Abweichen?
Schulleitung	Zweck, Freigabe, Ressourcen, Eskalation	Wer übernimmt Verantwortung für das Gesamtverfahren?
Datenschutzbeauftragte Stelle	Prüfung des Umgangs mit personenbezogenen Daten	Werden nur notwendige Daten verarbeitet?
Schulträger	Infrastruktur, Beschaffung, Verträge	Sind Qualitäts- und Kontrollpflichten verbindlich vereinbart?
Anbieter	Technische Dokumentation, Fehlerbehebung, Änderungen	Welche Grenzen des Systems werden transparent gemacht?
Eltern oder Sorgeberechtigte	Perspektive betroffener Familien	Wie werden Information und Beteiligung altersgerecht organisiert?

Governance-Prinzip: Verantwortung darf verteilt werden, aber nicht verschwinden. Für jede wichtige Handlung sollte klar sein, wer informiert, wer prüft, wer entscheidet, wer dokumentiert und wer bei Problemen eingreift.

Interessenkonflikte sichtbar machen

Mehrere Stakeholder können vernünftige, aber widersprüchliche Ziele verfolgen. Eine Schulleitung möchte knappe Förderplätze effizient verteilen. Lehrkräfte wollen individuelle Situationen berücksichtigen. Lernende wünschen faire Chancen und verständliche Begründungen. Der Schulträger achtet auf Kosten. Die Datenschutzseite verlangt Datensparsamkeit. Der Anbieter möchte ein standardisiertes Produkt betreiben.

Human Oversight ist deshalb nicht nur ein technischer Schalter. Es ist ein Aushandlungs- und Gestaltungsproblem.

Folgenabschätzung vor dem Einsatz

Eine Folgenabschätzung fragt nicht erst nach einem Schaden, wenn er eingetreten ist. Sie versucht vorherzusehen, welche Betroffenen, Rechte und Risiken berührt werden.

Bearbeite für einen neuen KI-Einsatz mindestens diese Fragen:

Welches legitime Ziel wird verfolgt?
Was passiert, wenn das System gar nicht eingesetzt wird?
Welche Personengruppen könnten besonders von Fehlern betroffen sein?
Welche Datenlücken oder Verzerrungen sind plausibel?
Welche Fehlentscheidung wäre besonders schwer rückgängig zu machen?
Welche menschliche Kontrolle ist vor, während und nach einer Entscheidung nötig?
Wie können Betroffene eine Entscheidung verstehen und anfechten?
Welche Messwerte, Beschwerden und Beobachtungen führen zu einer erneuten Prüfung oder Abschaltung?

Eine Folgenabschätzung endet nicht mit einer Checkliste. Sie muss zu konkreten Designentscheidungen führen.

Anwendungssituation: KI-gestützte Lernförderung

Eine fiktive Gemeinschaftsschule möchte in Klasse 10 zusätzliche Lernförderung anbieten. Es gibt 30 Plätze, aber deutlich mehr Schülerinnen und Schüler könnten profitieren. Ein extern entwickeltes System soll Lehrkräfte unterstützen.

Das System verarbeitet schulische Leistungsdaten, Fehlzeiten, Ergebnisse kurzer Lernstandsaufgaben und Nutzungsdaten der schulischen Lernplattform. Es erzeugt einen Risikoscore zwischen 0 und 100 und empfiehlt ab einem bestimmten Schwellenwert eine Förderung.

Die Schule verspricht sich schnellere Entscheidungen und eine einheitliche Sicht auf viele Daten. Gleichzeitig entstehen Risiken: Daten können fehlen, bestimmte Lernwege können im Datensatz schlechter abgebildet sein, ein Score kann zu stark überzeugen und Betroffene könnten eine Entscheidung nicht verstehen.

Stakeholder und Zielkonflikte

Stakeholder	Wichtiges Ziel	Mögliche Sorge
Schülerin oder Schüler	Faire Chance auf Unterstützung	Falsche Einordnung oder fehlende Erklärung
Lehrkraft	Gute pädagogische Entscheidung	Zeitdruck und Automation Bias
Schulleitung	Wirksame Verteilung knapper Mittel	Uneinheitliche oder nicht dokumentierte Entscheidungen
Eltern	Nachvollziehbarkeit und Schutz	Unklare Datennutzung
Datenschutzbeauftragte Stelle	Datensparsamkeit und Rechtmäßigkeit	Unnötige oder sensible Daten
Anbieter	Funktionierendes Produkt	Eingeschränkter Einblick in lokale Besonderheiten
Schulträger	Wirtschaftlicher und sicherer Betrieb	Abhängigkeit von einem System ohne gute Exit-Strategie

Deine Designentscheidung

Entwirf in einer Gruppe ein Oversight-Konzept. Entscheide nicht nur, ob ein Mensch beteiligt ist, sondern wann, mit welchen Informationen, unter welchem Zeitbudget und mit welchen Befugnissen.

Dein Entwurf muss mindestens enthalten:

einen Punkt, an dem Datenqualität geprüft wird;
eine Regel für Fälle nahe am Schwellenwert;
eine Möglichkeit, eine KI-Empfehlung zu überstimmen;
einen Eskalationsweg für schwierige Fälle;
eine verständliche Begründung für Betroffene;
einen Beschwerde- oder Korrekturweg;
eine Protokollierung wichtiger Änderungen;
eine Regel für regelmäßige Evaluation.

Vier Fallkarten zum Testen

Fall A – Datenlücke: Eine Schülerin hat mehrere Aufgaben auf der Plattform nicht bearbeitet, weil zu Hause zeitweise keine stabile Internetverbindung verfügbar war. Das System deutet die fehlenden Aktivitäten als geringe Lernbereitschaft.

Fall B – Grenzwert: Zwei Schüler haben fast identische Lernstände. Einer liegt mit Score 69 knapp unter, der andere mit 70 knapp über dem festgelegten Förder-Schwellenwert.

Fall C – Widerspruch: Eine Lehrkraft kennt deutliche neue Lernfortschritte, die noch nicht in den Daten enthalten sind. Das System empfiehlt trotzdem Förderung mit sehr hoher Sicherheit.

Fall D – Verdeckter Fehler: Nach drei Monaten zeigt sich, dass Lernende aus einer bestimmten Schulklasse deutlich häufiger falsch negativ eingestuft werden als Lernende aus anderen Klassen.

Teste Dein Konzept an allen vier Karten. Markiere, welcher Kontrollmechanismus greift, wer handelt, welche Information benötigt wird und wie die Entscheidung dokumentiert wird.

Red-Team-Test: Suche bewusst nach Schwächen

Beim Red Teaming versucht ein Team absichtlich, ein System unter schwierigen Bedingungen zu testen. Ziel ist nicht, den Entwurf schlechtzureden, sondern versteckte Schwächen vor einem echten Schaden zu finden.

Prüfe Deinen Entwurf mit diesen Angriffspunkten:

Was passiert bei fehlenden oder veralteten Daten?
Was passiert bei Zeitdruck?
Was passiert, wenn eine Lehrkraft dem Score blind vertraut?
Was passiert, wenn zwei Menschen unterschiedlich entscheiden?
Was passiert, wenn eine betroffene Person widerspricht?
Was passiert, wenn sich das Modell nach einem Update verändert?
Was passiert, wenn die Schule die Kontrolle praktisch nicht mehr leisten kann?

Design – Test – Improve – Explain

Der Kern des Kurses ist ein eigener Entwicklungszyklus:

Phase	Produkt	Qualitätsfrage
Design	Ablaufplan mit menschlichen Kontrollpunkten	Kann ein Mensch wirklich eingreifen?
Test	Prüfung mit mindestens vier schwierigen Fällen	Werden relevante Fehler entdeckt?
Improve	Überarbeitete Version mit mindestens zwei Verbesserungen	Welche Schwäche wurde konkret reduziert?
Explain	Transparente Entscheidungsbegründung	Können Betroffene und Außenstehende den Prozess nachvollziehen?

Ein Empfehlungssystem besteht aus vielen Verarbeitungsschritten. Für Oversight ist entscheidend, an welchen Stellen Menschen Informationen erhalten und wirksam eingreifen können.

Empfehlungen und Rückkopplungen verstehen

Digitale Systeme beeinflussen häufig das Verhalten, aus dem später neue Daten entstehen. Dadurch kann eine Rückkopplung entstehen: Das System empfiehlt etwas, Menschen reagieren darauf, diese Reaktion wird erneut als Trainings- oder Rankingdaten verwendet.

Wenn ein Lernsystem zum Beispiel bestimmte Aufgaben häufiger empfiehlt, werden genau diese Aufgaben häufiger bearbeitet. Die entstehenden Daten spiegeln dann teilweise die vorherige Empfehlung des Systems wider. Evaluation muss deshalb fragen, ob Daten wirklich unabhängige Beobachtungen sind oder bereits durch frühere Systementscheidungen geprägt wurden.

Das gleiche Prinzip kann bei Empfehlungssystemen dazu führen, dass bestehende Sichtbarkeit verstärkt wird. Human Oversight sollte deshalb auch langfristige Rückkopplungen beobachten und nicht nur einzelne Entscheidungen prüfen.

Fächerübergreifende Bezüge

Fach	Beitrag zum Thema	Leitfrage
Informatik	Daten, Algorithmen, Mensch-Maschine-Schnittstellen, Systemgrenzen	Wo im System entstehen Fehler und wo können Kontrollpunkte eingebaut werden?
Mathematik	Fehlermatrix, Wahrscheinlichkeiten, Schwellenwerte, Kennzahlen	Welche Kennzahl passt zur Entscheidung und welche Fehler werden dadurch verdeckt?
Technik	Sicherheitsprinzipien, Fail-Safe, Stop-Möglichkeiten, Testverfahren	Wie muss ein System reagieren, wenn etwas Unerwartetes geschieht?
Deutsch	Argumentation, Adressatenbezug, Begründung, verständliche Sprache	Wie lässt sich eine komplexe Entscheidung nachvollziehbar erklären?
Wirtschaft	Effizienz, Kosten, Fehlanreize, Beschaffung, Verantwortung	Wann spart Automatisierung wirklich Ressourcen und wer trägt Fehlerkosten?
Geschichte	Entwicklung von Verwaltung, Statistik, Automatisierung und Technikfolgen	Was ist neu an KI-Entscheidungssystemen und was setzt ältere Rationalisierungsprozesse fort?
Ethik	Autonomie, Gerechtigkeit, Verantwortung, Menschenwürde	Wann darf Effizienz hinter Schutz und Fairness zurückstehen?
Gemeinschaftskunde	Grundrechte, demokratische Legitimation, Verwaltung, Beschwerderechte	Welche Kontrolle braucht Technik, wenn sie öffentliche oder schulische Entscheidungen beeinflusst?

Historischer Blick: Technik übernimmt Aufgaben, nicht Verantwortung

Schon lange vor heutiger KI wurden Entscheidungen durch Formulare, statistische Verfahren, Punkte-Systeme und Computerprogramme vorbereitet. Neuere KI kann Muster in sehr großen Datenmengen erkennen und schwer durchschaubare Zusammenhänge erzeugen. Die historische Perspektive hilft, zwei Extreme zu vermeiden: Weder ist jede algorithmische Unterstützung völlig neu, noch ist heutige KI nur „ein Taschenrechner“.

Die zentrale Kontinuität lautet: Gesellschaften müssen entscheiden, welche Aufgaben sie technischen Systemen übertragen und welche Verantwortung bei Menschen und Institutionen bleibt.

Wirtschaftlicher Blick: Effizienz gegen Fehlerkosten

Ein automatisiertes System kann Bearbeitungszeit sparen. Gleichzeitig können falsche Entscheidungen zusätzliche Kosten erzeugen: Nachprüfungen, Beschwerden, verlorenes Vertrauen, Benachteiligungen oder notwendige Korrekturen. Eine wirtschaftliche Bewertung sollte deshalb nicht nur fragen, wie viel Arbeitszeit automatisiert wird, sondern auch, wie teuer Fehler, Kontrolle und Nachbesserung sind.

Sprachlicher Blick: Transparenz ist eine Kommunikationsleistung

Eine technische Erklärung kann korrekt und trotzdem unverständlich sein. Gute Transparenz beantwortet adressatengerecht:

Wurde KI verwendet?
Welche Rolle spielte sie?
Welche wesentlichen Informationen flossen ein?
Welche Unsicherheit oder Grenze ist bekannt?
Wer traf die endgültige Entscheidung?
Wie kann eine Entscheidung überprüft oder angefochten werden?

Eine solche Erklärung ist eine anspruchsvolle Aufgabe aus Deutsch, Medienbildung und Ethik.

Reflexion und Transfer

Nimm zu dieser Aussage Stellung:

„Je genauer eine KI ist, desto weniger menschliche Kontrolle braucht sie.“

Begründe Dein Urteil mit mindestens einem mathematischen, einem ethischen und einem organisatorischen Argument.

Übertrage anschließend Dein Oversight-Raster auf einen neuen Fall, zum Beispiel die Vorauswahl von Bewerbungen für einen Ausbildungsplatz, eine KI-gestützte Verkehrssteuerung oder ein System zur Priorisierung von Bürgeranfragen. Prüfe, welche Kontrollpunkte gleich bleiben und welche sich ändern müssen.

Das Video „What is responsible AI?“ eignet sich zur Abschlussreflexion über Fairness, Transparenz, Datenschutz, Verantwortung und Nachhaltigkeit.

Interaktive Aufgaben

Quiz: Teste Dein Wissen

Eine Schule lässt eine Lehrkraft jede KI-Empfehlung bestätigen, gibt ihr dafür aber nur wenige Sekunden. Welche Verbesserung stärkt Human Oversight am stärksten? (Genügend Prüfzeit und das Recht zum Überstimmen einplanen) (!Die Zustimmungsschaltfläche größer machen) (!Die Empfehlung automatisch als richtig markieren) (!Nur den KI-Score anzeigen)

Ein System übersieht mehrere tatsächlich förderbedürftige Lernende. Um welchen Fehlertyp handelt es sich? (Falsch-Negative) (!Falsch-Positive) (!Wahr-Positive) (!Wahr-Negative)

Ein Modell erreicht im Durchschnitt gute Werte, schneidet aber in einer bestimmten Klasse deutlich schlechter ab. Was sollte zuerst geschehen? (Die Unterschiede untersuchen und mögliche Ursachen prüfen) (!Den Gesamtdurchschnitt als ausreichenden Beleg verwenden) (!Alle menschlichen Kontrollen entfernen) (!Nur die schnellsten Entscheidungen bewerten)

Was ist ein gutes Beispiel für wirksame menschliche Kontrolle? (Eine befugte Person kann eine KI-Empfehlung begründet ändern) (!Eine Person sieht das Ergebnis erst nach der endgültigen Entscheidung) (!Das System protokolliert nur seine eigenen Ausgaben) (!Die Person darf nur zustimmen)

Warum kann ein Schwellenwert eine Wertentscheidung enthalten? (Er beeinflusst, welche Arten von Fehlern und Folgen häufiger auftreten) (!Er ist immer eine zufällige Zahl) (!Er beseitigt automatisch alle Verzerrungen) (!Er ersetzt jede ethische Abwägung)

Was beschreibt Automation Bias am besten? (Menschen verlassen sich zu stark auf automatisierte Empfehlungen) (!Menschen lehnen jede Technik grundsätzlich ab) (!Ein Computer arbeitet zu langsam) (!Ein Datensatz ist besonders groß)

Welche Maßnahme verbessert Governance besonders? (Klare Rollen für Prüfung Entscheidung Eskalation und Dokumentation festlegen) (!Verantwortung vollständig an den Anbieter übertragen) (!Fehler nur informell besprechen) (!Entscheidungen ohne Zuständigkeit treffen)

Eine Schülerin widerspricht einer KI-gestützten Entscheidung mit neuen Informationen. Was braucht ein gutes Oversight-System? (Einen erreichbaren Korrektur- und Beschwerdeweg) (!Eine Sperre gegen nachträgliche Änderungen) (!Eine Regel dass Scores niemals überprüft werden) (!Eine automatische Löschung des Widerspruchs)

Warum reicht eine hohe Modellgenauigkeit allein nicht als Qualitätsnachweis? (Auch Fehlerverteilung menschliche Nutzung und reale Folgen müssen geprüft werden) (!Genauigkeit ist nur bei Taschenrechnern sinnvoll) (!Modelle dürfen grundsätzlich keine Zahlen ausgeben) (!Jede menschliche Entscheidung ist automatisch fair)

Welcher Schritt gehört zu einer sinnvollen Folgenabschätzung? (Betroffene mögliche Schäden und Schutzmaßnahmen vor dem Einsatz untersuchen) (!Nur nach dem Kauf nach Risiken fragen) (!Ausschließlich die Rechenleistung vergleichen) (!Beschwerden grundsätzlich als Einzelfälle ignorieren)

Memory

Human Agency	Eigenständige menschliche Handlungs- und Urteilsmöglichkeit
Automation Bias	Übermäßiges Vertrauen in automatisierte Empfehlungen
Override	Menschliches Überstimmen eines Systemergebnisses
Eskalation	Weitergabe eines schwierigen Falls an eine zuständige höhere Stelle
Audit Trail	Nachvollziehbare Dokumentation wichtiger Schritte und Änderungen
Folgenabschätzung	Systematische Prüfung möglicher Auswirkungen vor oder während des Einsatzes
Falsch-Negativ	Tatsächlicher Bedarf wird vom System übersehen
Stakeholder	Person oder Gruppe mit Interesse oder Betroffenheit

Drag and Drop

Ordne die richtigen Begriffe zu.	Thema
Stopptaste	Eingriffsmöglichkeit
Beschwerdeweg	Rechtsschutz
Grenzfallprüfung	Menschliche Freigabe
Stichprobenaudit	Monitoring
Kontextprüfung	Ausnahmebehandlung

Kreuzworträtsel

Oversight	Wie heißt die wirksame menschliche Aufsicht über ein KI-System auf Englisch?
Fairness	Welcher Begriff bezeichnet die gerechte Behandlung unterschiedlicher Betroffener?
Eskalation	Wie heißt die Weitergabe eines schwierigen Falls an eine zuständige höhere Stelle?
Transparenz	Welcher Begriff bezeichnet die nachvollziehbare Offenlegung von Rolle und Gründen eines Systems?
Override	Wie heißt das bewusste Überstimmen eines automatisierten Ergebnisses?
Stakeholder	Wie heißt eine Person oder Gruppe die von einem System betroffen ist oder ein Interesse daran hat?

LearningApps

Lückentext

Human Oversight soll echte menschliche

über KI-gestützte Prozesse ermöglichen.

Wer eine Empfehlung prüfen soll, braucht ausreichende

für ein eigenständiges Urteil.

Übermäßiges Vertrauen in automatisierte Vorschläge wird

genannt.

Eine Person mit wirksamer Aufsicht muss ein Ergebnis bei Bedarf

können.

Ein übersehener tatsächlicher Förderbedarf ist ein

.

Die Höhe eines

beeinflusst die Verteilung verschiedener Fehlertypen.

Vor dem Einsatz hilft eine

dabei, Betroffene und mögliche Schäden zu untersuchen.

Schwierige Fälle brauchen einen klaren

.

Nachvollziehbare Aufzeichnungen unterstützen

.

Eine Person oder Gruppe mit Interesse oder Betroffenheit heißt

.

Gute Governance verteilt Aufgaben, ohne menschliche

verschwinden zu lassen.

Beim Transfer wird ein Kontrollkonzept auf einen

angewendet.

Offene Aufgaben

Leicht

Entscheidungskarte: Zeichne für den Schulfall einen einfachen Ablauf von Dateneingabe bis Entscheidung und markiere mindestens zwei Stellen, an denen ein Mensch eingreifen sollte.
Transparenzsatz: Formuliere in höchstens 80 Wörtern eine verständliche Mitteilung an Lernende, die erklärt, welche Rolle KI bei einer Förderentscheidung gespielt hat.
Stakeholder-Perspektive: Wähle zwei Beteiligte aus dem Schulfall und notiere je ein Ziel, eine Sorge und eine gewünschte Schutzmaßnahme.
Fehlerfolgen: Erfinde je ein Beispiel für einen Falsch-Positiv- und einen Falsch-Negativ-Fall und beschreibe die möglichen Folgen.

Standard

Oversight-Blueprint: Entwickle ein Kontrollkonzept mit Datenprüfung, Grenzfallregel, Override, Eskalation, Beschwerdeweg und Monitoring.
Schwellenwert-Debatte: Diskutiere in zwei Gruppen, ob ein niedrigerer oder höherer Förder-Schwellenwert sinnvoller ist, und beziehe mathematische sowie ethische Argumente ein.
Interface-Prototyp: Skizziere eine Benutzeroberfläche für eine Lehrkraft. Zeige neben dem Score mindestens drei Informationen, die Automation Bias verringern können.
Mini-Audit: Entwirf fünf Prüf-Fragen, mit denen die Schule nach drei Monaten feststellen kann, ob ihr KI-gestütztes Verfahren sicher und fair funktioniert.

Schwer

Red-Team-Challenge: Entwickle drei neue Grenzfälle, an denen ein Oversight-System scheitern könnte, und verbessere das System anschließend gezielt.
Governance-Charta: Erstelle eine einseitige Vereinbarung, die festlegt, wer entscheidet, wer kontrolliert, wer dokumentiert, wer Beschwerden bearbeitet und wann das System gestoppt wird.
Folgenabschätzungsbericht: Verfasse für einen neuen KI-Anwendungsfall eine strukturierte Folgenabschätzung mit Zweck, Betroffenen, Daten, Risiken, Grundrechten, Kontrollen und Monitoring.
Transfer-Projekt: Übertrage Dein verbessertes Oversight-Konzept auf die Vorauswahl für Ausbildungsplätze, teste es an mindestens vier Fallkarten und begründe, welche Regeln Du ändern musstest.

Lernkontrolle

Systemvergleich: Vergleiche zwei Verfahren zur Vergabe von 30 Förderplätzen: vollautomatische Auswahl und KI-Empfehlung mit menschlicher Grenzfallprüfung. Beurteile beide anhand von Effizienz, Fairness, Transparenz und Fehlerrisiken.
Fehlermatrix interpretieren: Erkläre, warum dieselbe Fehlermatrix zu unterschiedlichen Entscheidungen führen kann, wenn Falsch-Negative stärker gewichtet werden als Falsch-Positive.
Oversight unter Zeitdruck: Eine Organisation führt menschliche Freigaben ein, halbiert aber gleichzeitig die verfügbare Prüfzeit. Analysiere, ob dadurch tatsächlich mehr menschliche Kontrolle entsteht.
Grundrechtsabwägung: Entwirf für einen KI-gestützten Schulfall eine begründete Abwägung zwischen Datennutzung, Fairness und individueller Autonomie.
Governance-Reparatur: In einem System ist unklar, ob Anbieter, Lehrkraft oder Schulleitung für Fehlentscheidungen zuständig ist. Entwickle eine bessere Rollenverteilung und begründe sie.
Transfer-Test: Übertrage die Kontrollprinzipien aus dem Schulfall auf eine KI-gestützte Bewerbungsvorauswahl und nenne mindestens zwei Aspekte, die wegen des neuen Kontexts anders gestaltet werden müssen.

Lernnachweis

Für einen gelungenen Lernnachweis zu „Human Oversight gestalten“ ist wichtig:

Du analysierst ein KI-gestütztes System als Zusammenspiel aus Technik, Menschen, Organisation und Folgen.
Du identifizierst mindestens zwei plausible Fehlerarten und erklärst ihre unterschiedlichen Auswirkungen.
Du gestaltest konkrete menschliche Kontrollpunkte mit Zeit, Informationen, Befugnissen und Eskalationswegen.
Du berücksichtigst Betroffene, Grundrechte, Fairness, Datenschutz, Sicherheit und Transparenz.
Du legst Verantwortlichkeiten nachvollziehbar fest.
Du testest Deinen Entwurf mit Grenzfällen und dokumentierst mindestens zwei Verbesserungen.
Du begründest Entscheidungen mit nachvollziehbaren Argumenten statt nur mit einem KI-Score.
Du überträgst Dein Konzept auf einen neuen Anwendungsfall und erklärst, welche Regeln gleich bleiben und welche angepasst werden müssen.

OERs zum Thema

Weitere offene oder öffentlich zugängliche Vertiefungen:

Verknüpfte Lernbereiche

Human Oversight gestalten

aiMOOC-Projekte

Inhalte werden geladen ...

Mediathek wird aus dem Wiki geladen ...

Frag mich zum aktuellen Lerninhalt oder wähle eine kurze Hilfe.

Textmodus bereit

Sprache