Die Druckversion wird nicht mehr unterstützt und kann Darstellungsfehler aufweisen. Bitte aktualisiere deine Browser-Lesezeichen und verwende stattdessen die Standard-Druckfunktion des Browsers.

Diesen aiMOOC als Battle spielen: Deutsch, Klasse 9-10, G-Niveau

KI-Folgen systematisch abschätzen

Einleitung

KI-Folgen systematisch abschätzen bedeutet mehr, als eine Liste mit Chancen und Risiken anzulegen. Du untersuchst ein KI-System als sozio-technisches System: Technik, Daten, Menschen, Regeln, Organisation und gesellschaftlicher Kontext wirken zusammen. Ziel ist ein nachvollziehbares Urteil darüber, ob ein KI-Einsatz sinnvoll ist, wie er gestaltet werden sollte, welche Schutzmaßnahmen nötig sind oder ob eine einfachere Lösung besser wäre.

In diesem Lernkurs arbeitest Du wie ein kleines interdisziplinäres Prüfungsteam. Du klärst den Zweck eines Systems, kartierst Stakeholder, prüfst Daten und Leistungswerte, analysierst mögliche Folgen für Grundrechte und Werte, planst menschliche Kontrolle, entwirfst Governance und legst fest, wie das System evaluiert, überwacht und bei Problemen verändert oder abgeschaltet werden kann. Dabei geht es ausdrücklich nicht darum, KI grundsätzlich zu befürworten oder abzulehnen, sondern Entscheidungen begründbar, überprüfbar und revidierbar zu machen.

Der Kurs richtet sich vor allem an Klasse 10 und ist für etwa 1–2 Unterrichtsstunden geplant. Die Kernroute umfasst ungefähr 80–90 Minuten; Vertiefungs- und Projektaufgaben können ausgelagert werden. Fächerübergreifend verbindet der Kurs Informatik, Mathematik, Technik, Deutsch, Wirtschaft, Geschichte, Ethik und Gemeinschaftskunde.

Lernziele

Nach dem Kurs kannst Du einen neuen KI-Fall selbstständig untersuchen und Deine Entscheidung begründen. Dazu sollst Du insbesondere:

Systemdesign: Zweck, Datenfluss, Modell, Benutzeroberfläche, menschliche Rollen und Rückkopplungen eines KI-Systems unterscheiden.
Evaluation: Leistungswerte, Fehlerarten, Unsicherheiten und Grenzen von Tests erklären und auf konkrete Folgen beziehen.
Governance: Zuständigkeiten, Kontrollrechte, Beschwerdewege, Monitoring und Abschaltkriterien entwerfen.
Folgenabschätzung: direkte, indirekte, kurzfristige und langfristige Auswirkungen auf verschiedene Stakeholder untersuchen.
Human Agency: erkennen, wann Menschen echte Entscheidungsmacht, Widerspruchsmöglichkeiten und ausreichende Informationen behalten.
Grundrechte und Ethik: Zielkonflikte zwischen Fairness, Privatsphäre, Sicherheit, Teilhabe, Effizienz und Autonomie nachvollziehbar abwägen.
Quellenkritik: Aussagen über KI-Leistung, Fairness oder Sicherheit nach Herkunft, Evidenz, Aktualität, Interessenkonflikten und Übertragbarkeit prüfen.
Transfer: den gesamten Prüfprozess auf einen unbekannten Fall übertragen und die eigene Entscheidung mit Kriterien, Evidenz und Schutzmaßnahmen begründen.

Unterrichtsrahmen

Phase	Richtzeit	Lernhandlung
Aktivierung und Diagnose	5–8 Minuten	Erste Entscheidung treffen, Unsicherheiten benennen, fehlende Informationen sammeln
Verständliche Einführung	12–15 Minuten	KI-System als sozio-technisches System und Wirkungskette verstehen
Folgenabschätzung	15–20 Minuten	Stakeholder, Chancen, Schäden, Rechte und Werte systematisch untersuchen
Evaluation und Mathematik	12–15 Minuten	Fehlerarten, Kennzahlen und Folgen von Fehlentscheidungen interpretieren
Fallentscheidung und Governance	20–25 Minuten	Gestaltungsoptionen vergleichen, menschliche Kontrolle und Zuständigkeiten festlegen
Selbstkontrolle, Reflexion und Transfer	10–15 Minuten	Urteil prüfen und Methode auf einen neuen Fall übertragen

Aktivierung und Diagnose

Kurzfall: Eine Schule hat nur begrenzte Plätze in einem kostenlosen Förderprogramm. Ein KI-System soll aus Noten, Fehlzeiten und Abgabemustern eine Prioritätenliste erzeugen. Eine Lehrkraft soll die Liste anschließend „prüfen“.

Entscheide zunächst spontan: einsetzen, nur unter Bedingungen einsetzen, nicht einsetzen oder erst weitere Informationen beschaffen. Danach notierst Du drei Informationen, die Du für eine belastbare Entscheidung noch brauchst. Gute Fragen beziehen sich nicht nur auf die Technik, sondern auch auf Betroffene, Fehlerfolgen, Daten, Alternativen und Verantwortung.

Diagnosefrage	Woran Du gutes Folgenabschätzen erkennst
Wer profitiert, wer trägt Risiken?	Du nennst mehrere Stakeholder und nicht nur die Schule oder den Hersteller.
Was kann schiefgehen?	Du unterscheidest technische Fehler von organisatorischen und gesellschaftlichen Folgen.
Wer entscheidet am Ende?	Du prüfst, ob ein Mensch tatsächlich Zeit, Wissen und Autorität zum Eingreifen hat.
Welche Information fehlt?	Du forderst Evidenz statt bloßer Werbeversprechen.

Grundlagen: KI als sozio-technisches System

Ein KI-Modell ist nicht dasselbe wie ein KI-System. Ein Modell verarbeitet Eingaben und erzeugt Ausgaben. Ein reales System umfasst zusätzlich Datenerhebung, Auswahlregeln, Benutzungsoberfläche, Menschen, organisatorische Abläufe, Sicherheitsmaßnahmen und Entscheidungen darüber, was mit der Ausgabe geschieht. Deshalb können Folgen auch dann entstehen, wenn das Modell technisch korrekt arbeitet.

Systemteil	Leitfrage	Mögliche Folge
Zweck	Welches Problem soll gelöst werden?	Ein unklarer Zweck kann zu unnötiger Datensammlung oder falscher Automatisierung führen.
Daten	Woher stammen die Eingaben und wen bilden sie ab?	Lücken, veraltete Daten oder verzerrte Auswahl können bestimmte Gruppen benachteiligen.
Modell	Welche Ausgabe wird erzeugt und wie sicher ist sie?	Fehler oder Unsicherheit können fälschlich wie objektive Gewissheit wirken.
Oberfläche	Wie wird die Ausgabe dargestellt?	Ein großer Warnhinweis kann Menschen stärker beeinflussen als eine unsichere Wahrscheinlichkeit.
Menschliche Rolle	Wer darf prüfen, ändern, widersprechen oder stoppen?	„Mensch im Prozess“ ist wirkungslos, wenn Zeit, Kompetenz oder Autorität fehlen.
Organisation	Welche Regeln, Anreize und Verantwortlichkeiten gelten?	Zeitdruck oder Kostenziele können dazu führen, dass Kontrolle nur auf dem Papier existiert.
Rückkopplung	Verändert die KI-Entscheidung spätere Daten?	Frühere Empfehlungen können spätere Beobachtungen beeinflussen und sich selbst verstärken.

Systemdesign: Von der Ausgabe zur Wirkung

Für die Folgenabschätzung reicht die Frage „Wie genau ist die KI?“ nicht aus. Entscheidend ist die gesamte Wirkungskette:

Schritt	Beispiel Förderprogramm
Eingabe	Noten, Fehlzeiten, Abgabemuster
Verarbeitung	Ein Modell schätzt einen Unterstützungsbedarf
Ausgabe	Prioritätswert zwischen niedrig und hoch
Menschliche Interpretation	Lehrkraft betrachtet den Wert als Empfehlung
Entscheidung	Aufnahme oder Nichtaufnahme in ein begrenztes Förderangebot
Wirkung	Zusätzliche Unterstützung, mögliche Stigmatisierung oder verpasste Förderung
Rückkopplung	Geförderte Personen verbessern eventuell Leistungen; diese neuen Daten beeinflussen spätere Bewertungen

Die technische Ausgabe ist also nur ein Zwischenpunkt. Für eine verantwortliche Gestaltung musst Du fragen, welche Handlungen an der Ausgabe hängen und welche Folgen diese Handlungen für Menschen haben.

KI-Folgen systematisch abschätzen: Der Acht-Schritte-Check

Der folgende Acht-Schritte-Check ist eine didaktische Methode. Er verbindet Grundideen der Technikfolgenabschätzung mit risikobasiertem KI-Risikomanagement. Er ist kein Ersatz für eine formale rechtliche Prüfung.

Zweck klären: Welches konkrete Problem soll gelöst werden? Woran würde man erkennen, dass die Lösung nützlich ist? Gibt es eine einfachere Nicht-KI-Lösung?
System und Kontext abbilden: Welche Daten, Modelle, Schnittstellen, Menschen und organisatorischen Regeln bilden zusammen das System?
Stakeholder einbeziehen: Wer nutzt das System, wer ist betroffen, wer trägt Verantwortung, wer kann profitieren und wer hat wenig Einfluss?
Wirkungen und Risiken kartieren: Welche positiven und negativen Folgen sind direkt, indirekt, kurzfristig oder langfristig denkbar?
Evidenz und Leistung prüfen: Welche Daten und Tests stützen die Behauptungen? Welche Fehlerarten treten auf? Wie groß ist die Unsicherheit?
Grundrechte und Werte abwägen: Welche Bedeutung haben Privatsphäre, Gleichbehandlung, Autonomie, Menschenwürde, Sicherheit, Teilhabe und Transparenz?
Kontrolle und Governance gestalten: Wer darf eingreifen, korrigieren, widersprechen, abschalten und Beschwerden bearbeiten? Welche Dokumentation ist nötig?
Entscheiden, beobachten, revidieren: Einsatz, Pilot, Umgestaltung oder Verzicht begründen; Messgrößen, Stop-Regeln, Review-Zeitpunkt und Lernschleifen festlegen.

Der Ablauf ähnelt internationalen Risikomanagement-Ideen: Kontext wird abgebildet, Risiken werden gemessen und bewertet, Maßnahmen werden gesteuert und Zuständigkeiten werden geregelt. Entscheidend ist, dass der Prozess wiederholt wird, wenn sich Technik, Daten, Nutzergruppen oder Einsatzbedingungen ändern.

Folgen sichtbar machen: Wirkungsmatrix statt Bauchgefühl

Eine einfache Wirkungsmatrix hilft beim Priorisieren. Sie ist kein moralischer Taschenrechner: Ein seltener, aber schwerer Grundrechtseingriff kann wichtiger sein als viele kleine Komfortgewinne.

mögliche Folge	betroffene Stakeholder	Wahrscheinlichkeit	Schwere	Evidenz	Schutzmaßnahme
Förderbedarf wird übersehen	Lernende	mittel	hoch	lokaler Test	zweite menschliche Prüfung, Einspruch, alternative Zugangsmöglichkeit
unnötige Stigmatisierung	Lernende, Eltern	mittel	mittel bis hoch	Interviews und Pilotbeobachtung	neutrale Kommunikation, minimale Sichtbarkeit, keine dauerhafte Kennzeichnung
Zeitersparnis	Lehrkräfte	mittel	mittel	Prozessmessung	nur als Empfehlung nutzen, Zeitgewinn in Beratung investieren
Daten werden zweckfremd weitergenutzt	Lernende	niedrig bis mittel	hoch	Governance-Prüfung	Zweckbindung, Zugriffsbeschränkung, Löschfristen

Evaluation: Kann das System, was es verspricht?

Evaluation bedeutet, vorher festzulegen, was Erfolg und Schaden bedeuten, und das System mit geeigneten Daten zu prüfen. Ein hoher Gesamtwert kann wichtige Fehler verdecken.

Fiktives Rechenbeispiel: 200 Lernende werden betrachtet. Nach einer unabhängigen pädagogischen Prüfung haben 30 tatsächlich einen hohen Unterstützungsbedarf. Das System markiert 40 Lernende. Davon sind 24 richtig markiert.

Kennzahl	Rechnung	Ergebnis	Bedeutung
Richtig positiv	gegeben	24	Bedarf erkannt
Falsch positiv	40 minus 24	16	Markiert, obwohl kein hoher Bedarf festgestellt wurde
Falsch negativ	30 minus 24	6	Hoher Bedarf wurde übersehen
Richtig negativ	200 minus 24 minus 16 minus 6	154	Kein hoher Bedarf und nicht markiert
Genauigkeit	24 plus 154 geteilt durch 200	89 Prozent	Anteil aller richtigen Einordnungen
Präzision	24 geteilt durch 40	60 Prozent	Anteil der markierten Personen, bei denen der Bedarf tatsächlich bestätigt wurde
Trefferquote für tatsächlichen Bedarf	24 geteilt durch 30	80 Prozent	Anteil der Personen mit hohem Bedarf, die erkannt wurden

Interpretation: 89 Prozent Genauigkeit klingt stark. Trotzdem wären 16 von 40 markierten Personen falsch positiv, und 6 von 30 tatsächlich unterstützungsbedürftigen Personen würden übersehen. Welche Kennzahl wichtiger ist, hängt von den Folgen der jeweiligen Fehler ab. Deshalb muss Evaluation technische Kennzahlen mit Fehlerkosten, Rechten und Handlungskontext verbinden.

Fairness prüfen

Fairness ist mehr als „für alle dieselbe Formel“. Ein System kann im Durchschnitt gut funktionieren und in verschiedenen Gruppen oder Einsatzorten sehr unterschiedliche Fehlerquoten haben. Deshalb sollte eine Evaluation – soweit rechtlich und ethisch zulässig – prüfen, ob relevante Gruppen systematisch unterschiedlich betroffen sind. Dabei gilt zugleich Datenschutz: Für Fairnessprüfungen dürfen nicht beliebig zusätzliche sensible Daten gesammelt werden.

Prüffrage	Beispiel
Funktioniert das System in verschiedenen Kontexten ähnlich?	Ergebnisse verschiedener Klassenstufen oder Schulstandorte vergleichen
Sind Fehlerfolgen gleich verteilt?	Prüfen, ob bestimmte Gruppen häufiger Förderung verpassen
Ist die Vergleichsgröße sinnvoll?	Nicht nur Gesamtgenauigkeit, sondern auch relevante Fehlerquoten betrachten
Kann Benachteiligung durch Gestaltung reduziert werden?	Schwellenwert ändern, zusätzliche Prüfung einbauen oder personenbezogene Auswahl vermeiden

Quellenkritik und Evidenz

Bei KI werden starke Behauptungen oft mit Zahlen geschmückt. Prüfe deshalb die Quelle, bevor Du eine Kennzahl übernimmst.

Frage	Quellenkritischer Prüfpunkt
Wer behauptet etwas?	Hersteller, Behörde, Forschungsteam, Betroffene oder unabhängige Prüfstelle haben unterschiedliche Perspektiven und mögliche Interessen.
Auf welchen Daten basiert die Aussage?	Größe, Herkunft, Aktualität und Ähnlichkeit zum eigenen Einsatzkontext sind entscheidend.
Welche Vergleichsbasis gibt es?	Ein KI-System sollte gegen eine realistische Alternative verglichen werden, nicht gegen einen idealisierten Nullzustand.
Welche Unsicherheit wird genannt?	Fehlerspannen, unbekannte Fälle und Grenzen sind Teil guter Evidenz.
Wurde lokal getestet?	Ergebnisse aus einem anderen Land, einer anderen Altersgruppe oder einem anderen Zweck lassen sich nicht automatisch übertragen.
Was würde die Behauptung widerlegen?	Gute Evaluation braucht Kriterien, bei denen ein Pilot gestoppt oder eine Entscheidung geändert wird.

Human Agency, Grundrechte und Werte

Human Agency bedeutet, dass Menschen nicht nur formal beteiligt sind, sondern handlungsfähig bleiben: Sie können verstehen, entscheiden, widersprechen, Alternativen wählen und Verantwortung übernehmen. Besonders bei Entscheidungen mit spürbaren Folgen braucht menschliche Kontrolle mehr als einen Bestätigungsbutton.

Dimension	Leitfrage	Gute Gestaltung
Autonomie	Können Betroffene eigene Entscheidungen treffen?	KI gibt nachvollziehbare Unterstützung statt unentrinnbarer Vorgaben.
Menschliche Kontrolle	Hat die prüfende Person Wissen, Zeit und Autorität?	Ausgabe kann begründet überstimmt, gestoppt oder an Fachpersonen eskaliert werden.
Privatsphäre	Sind alle Daten für den Zweck nötig?	Datenminimierung, Zugriffsschutz, klare Löschregeln und Zweckbindung.
Gleichbehandlung	Werden Gruppen systematisch benachteiligt?	Fehlerverteilung prüfen, Barrieren abbauen, Alternativen anbieten.
Transparenz	Wissen Menschen, dass KI beteiligt ist und welche Rolle sie spielt?	verständliche Information über Zweck, Grenzen und Entscheidungsweg.
Sicherheit	Was passiert bei Fehlfunktion oder Angriff?	Fallback-Verfahren, Tests, Protokollierung und Stop-Regeln.
Widerspruch	Können Betroffene eine Entscheidung anfechten?	erreichbarer Beschwerdeweg mit echter menschlicher Prüfung.
Verantwortung	Ist klar, wer wofür zuständig ist?	benannte Rollen statt „die KI hat entschieden“.

Das Video nutzt Medizin als Beispiel. Übertrage die Kernfrage auf Schule: Welche Information muss eine verantwortliche Person verstehen, bevor sie einer KI-Empfehlung folgt? Achte dabei auf Grenzen des Systems, alternative Erklärungen und die Möglichkeit, Betroffene anzuhören.

Werteabwägung statt Scheinobjektivität

Viele KI-Entscheidungen enthalten Zielkonflikte. Ein schnelleres Verfahren kann mehr Daten benötigen. Ein sehr vorsichtiger Schwellenwert kann mehr echte Fälle finden, aber auch mehr Menschen fälschlich markieren. Vollständige Transparenz kann durch technische Komplexität begrenzt sein. Solche Konflikte verschwinden nicht durch Mathematik.

Zielkonflikt	Abwägungsfrage
Effizienz gegen Sorgfalt	Wie viel Zeit darf eingespart werden, ohne die Qualität menschlicher Prüfung auszuhöhlen?
Personalisierung gegen Privatsphäre	Welche zusätzlichen Daten verbessern den Nutzen wirklich und welche sind nur „nice to have“?
Trefferquote gegen Fehlalarm	Welcher Fehler verursacht im konkreten Kontext den größeren Schaden?
Sicherheit gegen Autonomie	Welche Schutzmaßnahme ist nötig, ohne Betroffene unnötig zu bevormunden?
Innovation gegen Revidierbarkeit	Kann das System als begrenzter Pilot getestet und bei Problemen wieder entfernt werden?

Ein nachvollziehbares Urteil benennt deshalb Kriterien, Evidenz, Unsicherheit, betroffene Werte und Schutzmaßnahmen. Es darf auch zu dem Ergebnis kommen, dass eine Nicht-KI-Lösung besser ist.

Governance: Verantwortung organisieren

Governance umfasst Regeln, Rollen und Verfahren, durch die ein KI-System kontrolliert wird. Gute Governance beginnt vor der Beschaffung und endet nicht mit dem Start des Systems.

Rolle	Verantwortung im Beispiel
Schulleitung	Zweck und Einsatzgrenzen genehmigen, Ressourcen für Kontrolle bereitstellen
Fachlehrkräfte und Beratung	Ergebnisse fachlich einordnen, Ausnahmen erkennen, nicht blind automatisieren
IT und Informationssicherheit	technische Integration, Zugriffsschutz, Protokollierung, Ausfallkonzept
Datenschutzverantwortliche	Datenflüsse, Rechtsgrundlagen, Minimierung und Schutzmaßnahmen prüfen
Schülervertretung und Elternvertretung	Betroffenenperspektive, Verständlichkeit, Beschwerdewege und Akzeptanz einbringen
Anbieter	Leistungsgrenzen, Tests, Änderungen und bekannte Risiken dokumentieren
Unabhängige Prüfung	kritische Tests oder Evaluation ohne direkten Verkaufsanreiz unterstützen

Menschliche Aufsicht ist nur wirksam, wenn die zuständige Person das System ausreichend versteht, die Ausgabe kritisch prüfen kann, Zeit für die Prüfung erhält und die Autorität besitzt, eine Empfehlung zu überstimmen oder den Prozess zu stoppen.

Der EU AI Act arbeitet risikobasiert. Für Hochrisiko-KI sieht er unter anderem Anforderungen an menschliche Aufsicht vor; für bestimmte Betreiber und Einsatzfälle sind Grundrechte-Folgenabschätzungen vorgesehen. Ob ein konkretes Schulsystem rechtlich in eine bestimmte Kategorie fällt, hängt vom genauen Verwendungszweck und den geltenden Voraussetzungen ab. Der Acht-Schritte-Check in diesem Kurs ist deshalb eine Lernmethode und keine Rechtsberatung.

Vier Kontrollpunkte

Zeitpunkt	Kontrollfrage	Beispiel für eine Stop-Regel
Vor dem Pilot	Ist der Zweck klar und gibt es eine bessere einfache Lösung?	Kein Einsatz, wenn notwendige Daten oder Zuständigkeiten ungeklärt sind.
Während des Pilot	Entsprechen Leistung und Fehlerverteilung den Erwartungen?	Pilot pausieren, wenn definierte Fehlerschwellen überschritten werden.
Bei Einzelfällen	Kann eine betroffene Person widersprechen?	Keine endgültige belastende Entscheidung ohne erreichbare menschliche Prüfung.
Nach einer Review-Periode	Ist der Nutzen belegt und sind neue Risiken entstanden?	Einsatz beenden, wenn Nutzen nicht nachweisbar ist oder Schutzmaßnahmen nicht greifen.

Realistische Anwendungssituation: Förderplätze fair vergeben?

Ausgangslage: Eine fiktive Gesamtschule hat 30 zusätzliche Förderplätze für 200 Lernende. Bisher entscheiden Lehrkräfte anhand verschiedener Informationen. Das dauert lange und wird als uneinheitlich kritisiert. Ein Anbieter schlägt ein KI-System vor, das Notenentwicklung, Fehlzeiten, verspätete Abgaben und freiwillige Selbsteinschätzungen verarbeitet und eine Prioritätsliste erstellt.

Stakeholder: Lernende möchten faire Chancen und keine Stigmatisierung. Eltern wollen nachvollziehbare Entscheidungen. Lehrkräfte möchten Zeit sparen, aber pädagogische Besonderheiten berücksichtigen. Die Schulleitung möchte begrenzte Ressourcen wirksam einsetzen. Die Schülervertretung fordert Widerspruchsmöglichkeiten. Datenschutz und IT-Sicherheit verlangen sparsame, geschützte Datenverarbeitung. Der Anbieter möchte sein System erfolgreich einsetzen.

Zielkonflikt: Mehr Effizienz kann helfen, schneller Unterstützung anzubieten. Gleichzeitig kann eine fehlerhafte Priorisierung genau den Lernenden schaden, die Unterstützung brauchen. Zusätzliche Daten könnten die Prognose verbessern, aber die Privatsphäre stärker belasten.

Gestaltungsoption	Kurzbeschreibung	Prüffrage
Vollautomatische Rangliste	Die obersten 30 erhalten Plätze.	Ist eine so weitreichende Delegation an das System überhaupt vertretbar?
Beratende KI	KI markiert Fälle; geschulte Lehrkräfte prüfen mit Zeitbudget und dokumentierter Begründung.	Ist die menschliche Prüfung wirklich unabhängig oder folgt sie automatisch der Empfehlung?
Aggregierte Planung	KI schätzt nur den Gesamtbedarf pro Fach oder Zeitraum, entscheidet aber nicht über einzelne Personen.	Lässt sich der Nutzen mit weniger personenbezogenem Risiko erreichen?
Regelbasiertes Verfahren ohne KI	Transparente Kriterien plus menschliche Beratung.	Ist eine einfachere Lösung ausreichend, nachvollziehbarer und leichter kontrollierbar?

Arbeitsauftrag zum Fall

Bearbeite den Fall in einem kleinen Entscheidungsteam. Jede Person übernimmt zunächst eine andere Perspektive. Erst danach wird gemeinsam entschieden.

Stakeholderanalyse: Benenne mindestens fünf Beteiligte oder Betroffene und jeweils ein Interesse, eine mögliche Belastung und eine Einflussmöglichkeit.
Systemdesign: Zeichne die Wirkungskette von den Daten bis zur tatsächlichen Förderentscheidung. Markiere mindestens zwei Stellen, an denen menschliche Kontrolle möglich ist.
Evaluation: Nutze die oben berechneten Fehlerzahlen. Erkläre, warum 89 Prozent Genauigkeit allein keine ausreichende Entscheidungsgrundlage sind.
Grundrechte: Prüfe Privatsphäre, Gleichbehandlung, Autonomie und Widerspruchsmöglichkeiten. Benenne einen Konflikt, bei dem zwei legitime Werte gegeneinander stehen.
Governance: Lege fest, wer den Pilot genehmigt, wer Fehler überwacht, wer Beschwerden prüft und wer das System stoppen darf.
Gestaltung: Verändere mindestens zwei Elemente des Systems so, dass Risiken sinken, ohne den Zweck aus den Augen zu verlieren.
Urteil: Entscheide zwischen Einsatz, begrenztem Pilot, Umgestaltung oder Verzicht. Begründe mit Evidenz, Stakeholdern, Fehlerfolgen und Schutzmaßnahmen.

Struktur für ein nachvollziehbares Urteil

Nutze dieses Raster, ohne eine vorgefertigte „Mustermeinung“ zu übernehmen:

Baustein	Satzstarter
Entscheidung	Ich entscheide mich für ...
Zweck	Diese Option erfüllt den Zweck, weil ...
wichtigste Evidenz	Besonders relevant ist ...
größtes Risiko	Die schwerwiegendste mögliche Folge ist ...
Schutzmaßnahme	Dieses Risiko soll reduziert werden durch ...
menschliche Kontrolle	Eine verantwortliche Person muss ...
Betroffenenrecht	Betroffene können ...
Unsicherheit	Noch unklar ist ...
Revisionsregel	Ich würde meine Entscheidung ändern, wenn ...

Selbstkontrolle und Reflexion

Bewerte Dich nach der Fallarbeit mit ja, teilweise oder noch nicht.

Ich kann ...	ja / teilweise / noch nicht
zwischen Modellleistung und Systemfolgen unterscheiden.
mindestens drei Stakeholder mit unterschiedlichen Interessen erklären.
False Positives und False Negatives auf konkrete Menschenfolgen beziehen.
zeigen, warum menschliche Kontrolle Kompetenz, Zeit und Autorität braucht.
mindestens eine Nicht-KI-Alternative ernsthaft vergleichen.
eine Entscheidung mit Evidenz und Werten statt nur mit Bauchgefühl begründen.
Stop-Regeln und einen späteren Review-Zeitpunkt festlegen.

Reflexion: Welche Stimme wäre in Deiner Gruppe am leichtesten übergangen worden? Wo könnte ein KI-Ergebnis Dein eigenes Urteil unbewusst beeinflussen? Welche Information hätte Deine Entscheidung am stärksten verändern können? Woran würdest Du erkennen, dass ein Pilot nicht fortgesetzt werden sollte?

Fächerübergreifende Bezüge

Fach	Beitrag zur KI-Folgenabschätzung	Mögliche Lernleistung
Informatik	Daten, Modelle, Systemgrenzen, Schnittstellen, Rückkopplungen	Systemdiagramm und Fehleranalyse
Mathematik	Wahrscheinlichkeiten, Anteile, Fehlerraten, Basisraten, Vergleich von Kennzahlen	Konfusionsmatrix interpretieren und Folgen berechnen
Technik	Sicherheit, Robustheit, Mensch-Maschine-Schnittstelle, Fail-Safe-Prinzip	Fallback und Stop-Regeln entwerfen
Deutsch	Argumentation, Quellenkritik, sprachliche Transparenz, Unsicherheit ausdrücken	begründetes Entscheidungs-Memo verfassen
Wirtschaft	Kosten, Produktivität, Anreize, externe Effekte, Beschaffung	Nutzenversprechen gegen Folgekosten und Risiken abwägen
Geschichte	frühere Technikdebatten, gesellschaftlicher Wandel, Regulierung und Macht	KI mit einer historischen Technikfolgendebatte vergleichen
Ethik	Menschenwürde, Autonomie, Gerechtigkeit, Verantwortung, Werteabwägung	Zielkonflikt analysieren und Position begründen
Gemeinschaftskunde	Grundrechte, demokratische Kontrolle, Beteiligung, Regulierung	Stakeholder-Anhörung und Governance-Regeln entwickeln

Transfer: Neuer Fall ohne Musterlösung

Berufsorientierung mit KI: Eine Kommune organisiert eine Ausbildungsmesse. Eine neue Software soll Zehntklässler:innen anhand freiwilliger Interessenangaben, Schulnoten und eines kurzen Online-Fragebogens automatisch mit Ausbildungsbetrieben „matchen“. Die App zeigt zuerst fünf empfohlene Betriebe an. Die Kommune erwartet weniger Suchaufwand, Unternehmen hoffen auf passendere Kontakte, Jugendliche möchten Wahlfreiheit, Schulen wollen gute Beratung, Eltern sorgen sich um Daten und mögliche Festlegung auf bestimmte Berufswege. Der Anbieter wirbt mit einer hohen „Match-Qualität“, veröffentlicht aber keine lokale Evaluation.

Dein Transferauftrag: Wende den Acht-Schritte-Check selbstständig auf diesen Fall an. Vergleiche mindestens eine KI-Variante mit einer Nicht-KI-Alternative. Lege fest, welche Evidenz vor einem Einsatz fehlen würde, welche Rechte und Werte berührt sind, welche menschliche Kontrolle nötig ist, wie Betroffene widersprechen können und welche Stop-Regeln gelten sollen. Triff danach eine Entscheidung und formuliere ein kurzes Entscheidungs-Memo. Es gibt keine vorgegebene richtige Position; bewertet wird die Qualität Deiner Begründung.

Interaktive Aufgaben

Quiz: Teste Dein Wissen

Ein KI-System erreicht 89 Prozent Genauigkeit, übersieht aber mehrere Lernende mit tatsächlichem Förderbedarf. Was ist der sinnvollste nächste Schritt? (Fehlerarten und ihre Folgen getrennt untersuchen) (!Die Genauigkeit reicht als alleinige Freigabe aus) (!Alle übersehenen Fälle als unvermeidbar betrachten) (!Die Kennzahl ohne weitere Prüfung veröffentlichen)

Ein Anbieter behauptet, sein System sei fair, weil die Gesamtgenauigkeit hoch ist. Welche Prüfung ist am stärksten? (Fehlerquoten in relevanten Gruppen und Kontexten untersuchen) (!Nur die Werbeaussage in die Entscheidung übernehmen) (!Die Benutzeroberfläche farblich verändern) (!Die Zahl der Funktionen des Systems zählen)

Eine Lehrkraft muss jede KI-Empfehlung bestätigen, hat dafür aber nur wenige Sekunden und darf die Empfehlung praktisch nicht überstimmen. Wie ist die menschliche Kontrolle zu bewerten? (Sie ist nur formal und nicht ausreichend wirksam) (!Sie ist automatisch wirksam, weil ein Mensch klickt) (!Sie macht jede Evaluation überflüssig) (!Sie überträgt die Verantwortung vollständig auf die KI)

Für den Zweck eines Systems werden bestimmte personenbezogene Daten nicht benötigt. Welche Gestaltung ist am verantwortungsvollsten? (Die nicht benötigten Daten gar nicht erst erheben) (!Alle verfügbaren Daten vorsorglich speichern) (!Die Daten sammeln und den Zweck später festlegen) (!Die Daten nur deshalb nutzen, weil sie technisch verfügbar sind)

Zwei legitime Ziele stehen im Konflikt: stärkere Personalisierung und mehr Privatsphäre. Wie sollte entschieden werden? (Ziele, Betroffene, Evidenz, Risiken und Schutzmaßnahmen offen abwägen) (!Die technisch komplexere Lösung automatisch bevorzugen) (!Nur das billigste Angebot auswählen) (!Den Zielkonflikt als rein mathematisches Problem behandeln)

Ein Pilot zeigt deutlich mehr übersehene Problemfälle in einem bestimmten Nutzungskontext. Was ist die beste Reaktion? (Ursache untersuchen und Einsatz gegebenenfalls pausieren oder umgestalten) (!Die Abweichung ignorieren, solange der Durchschnitt gut aussieht) (!Die betroffene Gruppe aus der Evaluation entfernen) (!Nur die positive Gesamtzahl kommunizieren)

Ein KI-Einsatz hat unsicheren Nutzen, aber möglicherweise schwere Folgen für Betroffene. Welche Governance passt am besten? (Begrenzter reversibler Pilot mit Stop-Regeln und unabhängiger Prüfung) (!Unbegrenzter Dauerbetrieb ohne Review) (!Vollautomatische Entscheidung ohne Beschwerdeweg) (!Einsatz ohne Dokumentation, damit der Prozess flexibel bleibt)

Eine betroffene Person hält eine KI-gestützte Entscheidung für falsch. Welche Regel stärkt Human Agency am meisten? (Ein erreichbarer Widerspruch mit qualifizierter menschlicher Prüfung) (!Ein Hinweis, dass Computer objektiv entscheiden) (!Eine automatische Wiederholung derselben Berechnung) (!Ein Verbot, die Entscheidung zu hinterfragen)

Ein System soll plötzlich für einen neuen Zweck und eine andere Zielgruppe verwendet werden. Was ist sinnvoll? (Eine neue Kontext- und Folgenprüfung mit passender Evaluation durchführen) (!Die alte Freigabe ungeprüft übernehmen) (!Nur den Namen des Systems ändern) (!Die ursprünglichen Testdaten als Beweis für jeden neuen Zweck ansehen)

Eine transparente einfache Regel erreicht den Zweck fast ebenso gut wie ein datenintensives KI-System. Welche Frage ist entscheidend? (Ob die einfachere Lösung mit weniger Risiken den Zweck ausreichend erfüllt) (!Ob KI grundsätzlich moderner wirkt) (!Ob möglichst viele Daten gesammelt werden können) (!Ob eine Rangliste vollständig automatisiert werden kann)

Memory

Zweckbindung	Daten nur für einen vorher bestimmten legitimen Zweck nutzen
False Positive	Ein Fall wird fälschlich als positiv markiert
False Negative	Ein tatsächlich relevanter Fall wird übersehen
Human Agency	Menschen behalten verständliche Wahl- und Einflussmöglichkeiten
Governance	Rollen, Regeln, Zuständigkeiten und Kontrollverfahren
Monitoring	Systemleistung und Folgen im Betrieb fortlaufend beobachten

Drag and Drop

Ordne die richtigen Begriffe zu.	Thema
Zweckklärung	Welches Problem soll gelöst werden und gibt es eine einfachere Alternative?
Stakeholderanalyse	Wer profitiert, wer trägt Risiken und wer kann widersprechen?
Evaluation	Welche Kennzahlen, Fehlerarten und Unsicherheiten zeigt der Test?
Governance	Wer entscheidet, kontrolliert, dokumentiert und stoppt?
Monitoring	Welche Folgen werden nach dem Start weiter beobachtet?

...

Kreuzworträtsel

Aufsicht	Wie heißt wirksame menschliche Kontrolle über ein KI-System mit einem Wort?
Fairness	Welcher Begriff bezeichnet die gerechte Behandlung unterschiedlicher Betroffener?
Governance	Welcher Begriff bündelt Regeln, Rollen und Zuständigkeiten?
Stakeholder	Wie nennt man Beteiligte und Betroffene eines Systems zusammenfassend?
Evaluation	Wie heißt die systematische Prüfung von Leistung und Folgen?
Transparenz	Welcher Begriff steht für Nachvollziehbarkeit und verständliche Information?

LearningApps

Lückentext

Offene Aufgaben

Leicht

Auswirkungs-Tagebuch: Wähle eine KI-Anwendung aus Schule oder Alltag. Notiere drei Stakeholder, je einen möglichen Nutzen und je eine mögliche Belastung.
Fehlergeschichten: Schreibe je eine kurze Geschichte dazu, was ein False Positive und ein False Negative in einem schulischen Kontext für eine betroffene Person bedeuten kann.
Kontrollkarte: Zeichne bei einem KI-gestützten Ablauf ein, wo Menschen entscheiden, prüfen, widersprechen oder stoppen können.
Quellencheck: Vergleiche eine Anbieterbehauptung mit einer unabhängigen Quelle und notiere, welche Aussage besser belegt ist und warum.

Standard

Risikomatrix: Erstelle für den Förderfall eine Matrix aus Wahrscheinlichkeit, Schwere, Betroffenen und Schutzmaßnahmen. Begründe, welches Risiko zuerst bearbeitet werden sollte.
Stakeholder-Anhörung: Führt eine kurze Anhörung mit Rollen wie Lernende, Lehrkraft, Eltern, Schulleitung, Datenschutz und Anbieter durch. Haltet danach offene Streitpunkte fest.
Evaluationsplan: Lege fest, welche Kennzahlen und qualitativen Rückmeldungen ein vierwöchiger Pilot erfassen müsste, bevor über Fortsetzung entschieden wird.
Redesign-Challenge: Verändere den Förderfall so, dass weniger personenbezogene Daten verarbeitet werden und mehr menschliche Handlungsmacht erhalten bleibt.

Schwer

Folgenabschätzungsbericht: Erstelle für einen neuen KI-Einsatz eine strukturierte Folgenabschätzung mit Zweck, Systemkarte, Stakeholdern, Risiken, Evidenz, Grundrechten, Governance und Review-Regeln.
Governance-Charta: Formuliere eine einseitige Schulregel für verantwortlichen KI-Einsatz mit Zuständigkeiten, Widerspruch, Dokumentation, Stop-Regeln und regelmäßiger Evaluation.
Historischer Vergleich: Vergleiche eine heutige KI-Debatte mit einer früheren Technikfolgendebatte. Untersuche, welche Hoffnungen, Risiken, Machtfragen und Regulierungsprobleme ähnlich oder verschieden sind.
Transfer-Debatte: Bearbeite den Fall der Berufsorientierungs-App in zwei Teams mit unterschiedlichen Entscheidungen. Tauscht anschließend die stärksten Argumente aus und überarbeitet Eure Position.

Lernkontrolle

Systemurteil: Du erhältst einen unbekannten KI-Fall. Erstelle eine Systemkarte und identifiziere zwei Stellen, an denen eine technische Ausgabe erst durch menschliche oder organisatorische Entscheidungen zu einer realen Folge wird.
Kennzahlen und Konsequenzen: Vergleiche zwei Modelle, von denen eines mehr False Positives und das andere mehr False Negatives erzeugt. Entscheide kontextbezogen, welches eher vertretbar ist, und begründe über Folgen statt nur über Prozentwerte.
Gestaltungsvergleich: Vergleiche eine vollautomatische, eine beratende und eine Nicht-KI-Lösung für denselben Zweck. Entwickle Kriterien und entscheide nachvollziehbar.
Evidenzkonflikt: Ein Anbieterbericht ist positiv, ein lokaler Pilot zeigt Probleme. Erkläre, welche Quelle für welche Aussage wie stark gewichtet werden sollte und welche zusätzliche Prüfung Du verlangst.
Grundrechte und Werte: Analysiere einen Zielkonflikt zwischen Privatsphäre und Personalisierung oder zwischen Sicherheit und Autonomie. Entwickle eine Schutzmaßnahme, die beide Seiten berücksichtigt.
Revision: Nach drei Monaten tritt ein unerwarteter Schaden auf. Beschreibe, welche Governance-Regeln jetzt greifen sollten und unter welchen Bedingungen Du den Einsatz pausierst, veränderst oder beendest.

Lernnachweis

Für einen Lernnachweis zu diesem Thema ist wichtig, dass Du nicht nur Begriffe wiederholst, sondern eine begründete Entscheidung zu einem neuen Fall entwickelst.

Eine nachvollziehbare Systemkarte mit Daten, Modell, Oberfläche, Menschen, Entscheidungen und Rückkopplungen.
Eine Stakeholderanalyse mit unterschiedlichen Interessen, Einflussmöglichkeiten und möglichen Belastungen.
Eine Evaluation mit passenden Kennzahlen, Fehlerarten, Unsicherheiten und Interpretation der Menschenfolgen.
Eine Grundrechts- und Werteabwägung mit mindestens einem echten Zielkonflikt.
Ein Governance-Plan mit Zuständigkeiten, wirksamer menschlicher Kontrolle, Widerspruch, Stop-Regeln und Review.
Ein schriftliches Urteil mit Entscheidung, Begründung, Evidenz, Schutzmaßnahmen, Unsicherheiten und Bedingungen für eine spätere Revision.
Ein Transfer auf einen neuen Kontext, bei dem Du auch eine Nicht-KI-Alternative vergleichst.

OERs zum Thema

Die eingebundenen Wikimedia-Commons-Medien sind auf ihren jeweiligen Dateiseiten mit freien oder offen ausgewiesenen Nutzungsbedingungen dokumentiert. Die beiden KI-Campus-Videos zu Grundlagen und Ethik sind auf Wikimedia Commons als CC BY-SA 4.0 dokumentiert.

Quellen und Vertiefung

UNESCO: AI competency framework for students – menschenzentrierte Haltung, Ethik, KI-Techniken und Systemdesign als Kompetenzbereiche.
NIST: AI Risk Management Framework – freiwilliger Rahmen zum Govern, Map, Measure und Manage von KI-Risiken.
Europäische Kommission: AI Act – risikobasierter Regulierungsansatz.
EUR-Lex: Verordnung EU 2024/1689 – Primärtext des EU AI Act, unter anderem zu menschlicher Aufsicht bei Hochrisiko-KI.
Europarat: Rahmenübereinkommen über KI, Menschenrechte, Demokratie und Rechtsstaatlichkeit – internationale Perspektive auf Rechte, Aufsicht sowie Risiko- und Folgenmanagement.

Verknüpfte Lernbereiche

KI-Folgen systematisch abschätzen

aiMOOC-Projekte

Frag mich zum aktuellen Lerninhalt oder wähle eine kurze Hilfe.

Textmodus bereit

Sprache