KI-Projekt – Folgen abschätzen und verantworten
KI-Projekt – Folgen abschätzen und verantworten
Einleitung
KI-Projekt – Folgen abschätzen und verantworten ist ein fächerübergreifender aiMOOC für die Schule mit Schwerpunkt Klasse 9. Im Mittelpunkt steht nicht die Frage, ob Künstliche Intelligenz „gut“ oder „schlecht“ ist. Du untersuchst vielmehr, welches Problem ein KI-System lösen soll, welche Daten es nutzt, wie zuverlässig es arbeitet, wer von Fehlern betroffen ist, welche Rechte und Werte berührt werden und welche Menschen Verantwortung übernehmen müssen.
Der Kurs ist für etwa eine bis zwei Unterrichtsstunden angelegt. Du arbeitest an einer realistischen Fallentscheidung: Eine Schule überlegt, ein KI-System einzusetzen, das Lernende mit möglichem Förderbedarf priorisieren soll. Das System wirkt auf den ersten Blick leistungsfähig. Bei genauerem Hinsehen zeigen sich jedoch unterschiedliche Fehlerraten, mögliche Verzerrungen, Datenschutzfragen und Zielkonflikte zwischen schneller Hilfe, Fairness, Kosten, Selbstbestimmung und menschlicher Kontrolle.
Am Ende erstellst Du ein sichtbares Produkt: einen KI-Folgenpass mit begründeter Entscheidungsvorlage. Darin dokumentierst Du auch, welche Arbeit Du selbst übernommen hast, wofür Du gegebenenfalls KI genutzt hast, wie Du KI-Ausgaben geprüft hast und welche Entscheidung letztlich von Menschen getroffen wurde.
Das Bild zeigt ein von der Europäischen Union veröffentlichtes Symbol zur Kennzeichnung von KI-Bezug. Es eignet sich als Einstieg in eine zentrale Frage dieses Kurses: Wann müssen Menschen erkennen können, dass KI beteiligt war?
Lernziele
Nach dem Kurs kannst Du ein KI-Projekt nicht nur technisch beschreiben, sondern als sozio-technisches System bewerten. Das bedeutet: Technik, Daten, Menschen, Institutionen, Regeln und Folgen werden gemeinsam betrachtet.
| Bereich | Das kannst Du am Ende |
|---|---|
| Informatik | Du beschreibst Eingaben, Datenverarbeitung, Modell-Ausgabe und menschliche Entscheidung als Systemkette und unterscheidest Training, Test und Anwendung. |
| Mathematik | Du interpretierst Fehlerraten, erkennst die Grenzen einer Gesamtgenauigkeit und vergleichst Kennzahlen zwischen Gruppen. |
| Deutsch | Du prüfst Behauptungen und Quellen, formulierst nachvollziehbare Argumente und begründest ein Urteil mit Belegen, Gegenargumenten und Unsicherheiten. |
| Technik | Du untersuchst Zuverlässigkeit, Ausfallfolgen, Sicherheitsmaßnahmen, Bedienbarkeit und menschliche Eingriffsmöglichkeiten. |
| Wirtschaft | Du wägest Nutzen, Kosten, Ressourcen, Anreize und mögliche Folgekosten ab. |
| Geschichte | Du erkennst, dass Datensätze und Regeln historische Entscheidungen und gesellschaftliche Ungleichheiten widerspiegeln können. |
| Ethik | Du wägest Werte wie Autonomie, Gerechtigkeit, Fürsorge, Sicherheit und Verantwortung gegeneinander ab. |
| Gemeinschaftskunde | Du beziehst Grundrechte, Beteiligung, Rechenschaft, Datenschutz und demokratische Kontrolle in Deine Entscheidung ein. |
Zeitplanung für 45 oder 90 Minuten
| Phase | Kompakt 45 Minuten | Vertieft 90 Minuten |
|---|---|---|
| Aktivierung und Diagnose | 5 Minuten | 8 Minuten |
| Verständliche Einführung und Systemmodell | 10 Minuten | 15 Minuten |
| Daten- und Fehleranalyse | 10 Minuten | 20 Minuten |
| Fallentscheidung mit Stakeholdern | 10 Minuten | 22 Minuten |
| Produkt: KI-Folgenpass | 7 Minuten | 18 Minuten |
| Selbstkontrolle, Reflexion und Transfer | 3 Minuten | 7 Minuten |
In der 45-Minuten-Version bearbeitest Du die Kernfragen und einen verkürzten KI-Folgenpass. In der 90-Minuten-Version berechnest Du zusätzlich Kennzahlen, vergleichst Stakeholder-Perspektiven und entwickelst konkrete Schutzmaßnahmen.
Aktivierung und Diagnose
Stell Dir vor: Deine Schule hat nur 20 Plätze für ein zusätzliches Förderangebot. Eine KI soll anhand vorhandener Schuldaten vorhersagen, wer besonders von der Förderung profitieren könnte. Das System erstellt eine Rangliste.
Entscheide zunächst spontan für Dich:
- Wer entscheidet?: Soll die Rangliste automatisch gelten oder nur ein Hinweis für Lehrkräfte sein?
- Welche Daten?: Dürfen Login-Zeiten, Fehlzeiten, Noten und Abgabezeiten gemeinsam ausgewertet werden?
- Welche Fehler sind schlimmer?: Ist es schlimmer, eine Person fälschlich als förderbedürftig einzustufen oder eine tatsächlich förderbedürftige Person zu übersehen?
- Wer trägt Verantwortung?: Die Lehrkraft, die Schulleitung, der Anbieter, die Schulbehörde oder mehrere gemeinsam?
Notiere Deine erste Entscheidung in einem Satz. Bewahre sie bis zum Ende des Kurses auf. Dann vergleichst Du, ob und warum sich Dein Urteil verändert hat.
Verständliche Einführung: Wie wird aus Daten eine folgenreiche Entscheidung?
Ein KI-System trifft nicht „einfach eine Entscheidung“. Zwischen einem Datenpunkt und einer gesellschaftlichen Folge liegen mehrere Schritte.
Systemkette:
Daten → Modell → Ausgabe → menschliche Deutung → Entscheidung → Folge → Rückmeldung
Ein Beispiel: Ein System verarbeitet vergangene Abgaben, Fehlzeiten und Testergebnisse. Es erzeugt einen Risikowert von 0 bis 100. Erst eine Regel oder eine Person entscheidet, was dieser Wert bedeutet. Wird ab 70 automatisch ein Förderplatz zugeteilt? Prüft vorher eine Lehrkraft? Kann ein Schüler widersprechen? Genau an diesen Übergängen entstehen Verantwortung und Gestaltungsmöglichkeiten.
Die Grafik veranschaulicht einen typischen Arbeitsablauf beim maschinellen Lernen: Daten werden verarbeitet, ein Modell wird entwickelt und anschließend bewertet. Wichtig ist: Eine gute technische Kennzahl beantwortet noch nicht automatisch die Frage, ob ein Einsatz sinnvoll, fair oder rechtmäßig ist.
Ein Modell lernt Muster, keine moralischen Regeln
Beim überwachten Lernen erhält ein Modell Trainingsbeispiele mit bekannten Zielwerten. Es versucht, Zusammenhänge zu erkennen, die auch auf neue Fälle übertragbar sind. Ein Modell kann statistisch gut vorhersagen und trotzdem problematische Folgen erzeugen.
Ein künstliches neuronales Netz ist nur eine von vielen Modellarten. Für verantwortliche Projektarbeit ist nicht entscheidend, ob ein System „kompliziert“ klingt, sondern ob Du nachvollziehen kannst:
- Eingabedaten: Welche Informationen gehen hinein?
- Zielvariable: Was soll vorhergesagt oder klassifiziert werden?
- Modellbewertung: Wie wurde die Leistung geprüft?
- Fehleranalyse: Welche Fehler treten auf und bei wem?
- Entscheidungsregel: Was passiert mit der Ausgabe?
- Folgenabschätzung: Wer profitiert, wer trägt Risiken?
- Menschliche Aufsicht: Wer darf prüfen, korrigieren oder stoppen?
Training ist nicht Test
Ein Modell darf nicht nur danach beurteilt werden, wie gut es sich an bekannte Trainingsdaten anpasst. Es muss an Daten geprüft werden, die beim Training nicht zur Anpassung genutzt wurden.
Ein Trainingsdatensatz dient dazu, Modellparameter anzupassen. Ein Testdatensatz dient dazu, die Leistung an bislang nicht verwendeten Beispielen abzuschätzen. Trotzdem bleibt eine Frage offen: Passt der Testdatensatz wirklich zu der Situation, in der das System später eingesetzt wird?
Wenn sich Schulformen, Unterricht, Technikzugang oder gesellschaftliche Bedingungen ändern, kann ein früher gut getestetes Modell später schlechter funktionieren. Deshalb gehört zu verantwortlicher KI auch die Überwachung während des Betriebs.
Systembewertung: Vier Ebenen statt nur einer Kennzahl
Ein verantwortliches KI-Projekt wird auf mindestens vier Ebenen geprüft.
| Ebene | Leitfrage | Typische Prüfpunkte |
|---|---|---|
| Technische Ebene | Funktioniert das System zuverlässig? | Fehlerquote, Robustheit, Datenqualität, Sicherheit, Testverfahren |
| Menschliche Ebene | Können Menschen sinnvoll handeln? | Verständlichkeit, Zeit zur Prüfung, Qualifikation, Übersteuerung, Beschwerdeweg |
| Gesellschaftliche Ebene | Wie verteilen sich Nutzen und Risiken? | Fairness, Teilhabe, Stigmatisierung, Macht, Zugang, Diskriminierung |
| Institutionelle und rechtliche Ebene | Wer darf was und wer verantwortet was? | Zweck, Rechtsgrundlage, Datenschutz, Dokumentation, Aufsicht, Zuständigkeiten |
Merksatz: Ein technisch funktionierendes System kann gesellschaftlich ungeeignet sein. Ein gesellschaftlich nützliches Ziel kann mit ungeeigneten Daten verfolgt werden. Ein fair wirkendes Verfahren kann ohne wirksame menschliche Kontrolle trotzdem unverantwortlich sein.
Mathematik: Fehler sichtbar machen
Bei Klassifikationen gibt es nicht nur „richtig“ und „falsch“. Es ist wichtig, welche Art von Fehler entsteht.
| Wirklichkeit | System sagt „Förderbedarf“ | System sagt „kein Förderbedarf“ |
|---|---|---|
| Förderbedarf vorhanden | Richtig positiv | Falsch negativ |
| Förderbedarf nicht vorhanden | Falsch positiv | Richtig negativ |
Ein falsch positives Ergebnis bedeutet im Schulfall: Eine Person wird als Förderfall markiert, obwohl sie nach dem verwendeten Kriterium keinen Förderbedarf hat. Ein falsch negatives Ergebnis bedeutet: Eine Person mit Förderbedarf wird übersehen.
Eine Konfusionsmatrix hilft, unterschiedliche Fehlerarten zu trennen. Das ist wichtig, weil zwei Systeme dieselbe Gesamtgenauigkeit haben können, aber sehr unterschiedliche Folgen erzeugen.
Datensatz der Fallstudie
Das fiktive System LernRadar wird an 100 anonymisierten Fällen getestet. Die Schule definiert „Förderbedarf“ für diesen Test anhand einer unabhängigen pädagogischen Einschätzung.
| Ergebnis | Anzahl |
|---|---|
| Richtig als Förderbedarf erkannt | 24 |
| Förderbedarf übersehen | 6 |
| Fälschlich als Förderbedarf markiert | 12 |
| Richtig als kein Förderbedarf erkannt | 58 |
Die Gesamtgenauigkeit beträgt:
(24 + 58) / 100 = 82 %
Das klingt zunächst gut. Doch die Gesamtgenauigkeit verschweigt wichtige Details:
Trefferquote bei tatsächlichem Förderbedarf: 24 / 30 = 80 %
Anteil richtiger Fälle unter allen Markierten: 24 / 36 ≈ 66,7 %
Anteil der übersehenen Förderfälle: 6 / 30 = 20 %
Damit ist etwa jede dritte als Förderfall markierte Person in diesem Test ein falsch positives Ergebnis. Gleichzeitig wird jeder fünfte tatsächliche Förderfall übersehen.
Gruppenvergleich: Gleiche Gesamtleistung bedeutet nicht gleiche Fairness
Die Schule prüft zusätzlich anonymisierte Testgruppen nach Stabilität des digitalen Zugangs. Diese Gruppierung wird nur für die Qualitätskontrolle verwendet, nicht als Entscheidungsmerkmal.
| Prüfgruppe | Anzahl | Tatsächlicher Förderbedarf | Richtig erkannt | Übersehen | Fälschlich markiert | Trefferquote bei Förderbedarf | Falsch-Positiv-Rate bei Personen ohne Förderbedarf |
|---|---|---|---|---|---|---|---|
| Stabiler Plattformzugang | 70 | 20 | 18 | 2 | 5 | 90 % | 10 % |
| Instabiler Plattformzugang | 30 | 10 | 6 | 4 | 7 | 60 % | 35 % |
Jetzt entsteht ein Problem: Das System arbeitet bei Lernenden mit instabilem Plattformzugang deutlich schlechter. Eine mögliche Ursache könnte sein, dass bestimmte Eingabedaten wie Login-Häufigkeit nicht nur Lernverhalten, sondern auch technische oder soziale Rahmenbedingungen widerspiegeln.
Wichtig: Eine Korrelation beweist noch keine Ursache. Verantwortliche Analyse bedeutet deshalb, weitere Daten, Prozesse und Erklärungen zu prüfen, statt vorschnell eine Begründung zu behaupten.
Drei Niveaustufen zur Datenanalyse
Leicht: Erkläre in eigenen Worten, warum 82 % Gesamtgenauigkeit für eine Entscheidung über Förderplätze nicht ausreicht.
Standard: Vergleiche die Trefferquote und die Falsch-Positiv-Rate beider Prüfgruppen. Beschreibe, wer durch das System eher benachteiligt werden könnte.
Schwer: Die Schule könnte den Schwellenwert verändern, ab dem jemand als Förderfall gilt. Erkläre, warum ein niedrigerer Schwellenwert wahrscheinlich mehr Förderbedürftige findet, aber auch mehr falsch positive Markierungen erzeugen kann. Begründe, welche zusätzlichen Informationen Du vor einer Entscheidung verlangen würdest.
Fairness, Bias und Proxy-Variablen
Bias bedeutet nicht automatisch, dass eine Entwicklerin oder ein Entwickler absichtlich diskriminieren wollte. Verzerrungen können an vielen Stellen entstehen: in historischen Daten, bei der Auswahl der Zielvariable, durch ungleiche Datenerfassung, durch unausgewogene Stichproben oder durch eine ungeeignete Entscheidungsregel.
Eine Proxy-Variable ist ein Merkmal, das indirekt Informationen über andere Eigenschaften oder Lebensumstände enthalten kann. Beispiel: Häufigkeit von Plattformzugriffen kann Lernaktivität abbilden, aber möglicherweise auch Internetzugang, Geräteverfügbarkeit, Krankheit, Betreuungspflichten oder andere Bedingungen.
Das Video der Antidiskriminierungsstelle des Bundes zeigt, warum algorithmische Entscheidungen zu Benachteiligungen führen können. Achte beim Ansehen besonders auf die Frage: Wie können Betroffene erkennen, dass ein automatisiertes Verfahren sie benachteiligt?
Dieses englischsprachige Crash-Course-Video erklärt verschiedene Quellen algorithmischer Verzerrung. Nutze es nicht als alleinige Quelle, sondern vergleiche Kernaussagen mit weiteren seriösen Quellen.
Werteabwägung: Was bedeutet „verantwortlich“?
Verantwortung beginnt dort, wo verschiedene legitime Ziele miteinander in Konflikt geraten.
Im Fall der Förder-KI können unter anderem folgende Zielkonflikte auftreten:
| Ziel A | Ziel B | Konflikt |
|---|---|---|
| Schnelle Unterstützung | Sorgfältige Einzelfallprüfung | Automatisierung spart Zeit, kann aber wichtige Umstände übersehen. |
| Personalisierung | Datenschutz | Mehr Daten können nützlich erscheinen, erhöhen aber Eingriffs- und Missbrauchsrisiken. |
| Hohe Trefferquote | Wenige Fehlmarkierungen | Ein anderer Schwellenwert kann eine Fehlerart verringern und eine andere erhöhen. |
| Geringe Kosten | Gute menschliche Aufsicht | Sinnvolle Kontrolle benötigt Zeit, Qualifikation und Personal. |
| Einheitliche Regeln | Berücksichtigung des Einzelfalls | Standardisierung kann vergleichbar wirken, aber besondere Situationen ausblenden. |
| Erklärbare Entscheidung | Maximale Modellkomplexität | Ein komplexeres Modell ist nicht automatisch besser, wenn niemand seine Rolle im Entscheidungsprozess nachvollziehen kann. |
In der Ethik ist ein Urteil stark, wenn Du nicht nur Deinen Lieblingswert nennst, sondern zeigst, welche Werte kollidieren, welche Folgen zu erwarten sind, welche Betroffenen berücksichtigt wurden und warum Deine Gewichtung vertretbar ist.
Grundrechte und demokratische Perspektive
KI-Projekte können Grundrechte und gesellschaftliche Werte berühren. Im Schulkontext sind insbesondere wichtig:
- Recht auf Bildung: Entscheidungen dürfen Bildungswege und Chancen nicht willkürlich beeinträchtigen.
- Gleichbehandlung: Verfahren sollen keine Gruppen systematisch benachteiligen.
- Datenschutz: Personenbezogene Daten sollen zweckgebunden, rechtmäßig, transparent und auf das notwendige Maß begrenzt verarbeitet werden.
- Informationelle Selbstbestimmung: Betroffene sollen nachvollziehen können, welche Daten und Verfahren sie betreffen.
- Beteiligung und Widerspruch: Menschen brauchen Möglichkeiten, Entscheidungen zu verstehen, Fehler zu melden und eine menschliche Prüfung zu verlangen.
- Menschenwürde: Menschen dürfen nicht auf einen Score reduziert werden.
Die Datenschutz-Grundverordnung betont unter anderem Rechtmäßigkeit, Fairness, Transparenz, Zweckbindung und Datenminimierung. Bei stark folgenwirksamen ausschließlich automatisierten Entscheidungen bestehen besondere Schutzrechte. Für eine konkrete Schule muss immer geprüft werden, welche Regeln tatsächlich anwendbar sind.
Der EU AI Act verfolgt einen risikobasierten Ansatz. Bestimmte KI-Anwendungen in Bildung, etwa zur Bewertung von Lernergebnissen oder zur wesentlichen Beeinflussung von Bildungswegen, können als Hochrisiko-Anwendungen eingestuft werden. Für Hochrisiko-Systeme spielt wirksame menschliche Aufsicht eine zentrale Rolle. Die genaue rechtliche Bewertung hängt vom konkreten System und seinem Einsatz ab.
Human Agency: Menschen müssen handlungsfähig bleiben
Human Agency bedeutet, dass Menschen Ziele setzen, Entscheidungen verstehen, Alternativen prüfen und Verantwortung übernehmen können. Ein Mensch im Prozess reicht allein nicht aus. Eine Lehrkraft, die nur automatisch auf „Bestätigen“ klickt, übt keine sinnvolle Kontrolle aus.
Wirksame menschliche Kontrolle benötigt mindestens:
| Bedingung | Prüffrage |
|---|---|
| Kompetenz | Versteht die verantwortliche Person Zweck, Grenzen und typische Fehler des Systems? |
| Information | Sieht sie relevante Daten, Unsicherheiten und Gründe für die Empfehlung? |
| Zeit | Hat sie genügend Zeit für eine echte Prüfung? |
| Autorität | Darf sie widersprechen, korrigieren oder den Einsatz stoppen? |
| Alternativen | Gibt es eine reale Möglichkeit, anders zu entscheiden? |
| Dokumentation | Wird festgehalten, wer geprüft und entschieden hat? |
| Beschwerde | Können Betroffene Fehler melden und eine erneute menschliche Prüfung verlangen? |
Ein wichtiges Risiko ist der Automation Bias: Menschen vertrauen einer automatisch erzeugten Empfehlung zu stark, nur weil sie technisch oder präzise wirkt. Ein verantwortliches Design muss deshalb nicht nur Fehler des Modells, sondern auch Fehler in der Mensch-Maschine-Zusammenarbeit berücksichtigen.
Der 7-Fragen-Verantwortungscheck
Bevor ein KI-Projekt eingesetzt wird, prüfst Du sieben Fragen:
- Zielklärung: Welches konkrete Problem soll gelöst werden, und ist KI dafür überhaupt notwendig?
- Datenqualität: Welche Daten werden verwendet, wie wurden sie erhoben und welche Personengruppen könnten darin schlecht abgebildet sein?
- Leistungsbewertung: Welche Kennzahlen werden gemessen, und welche Fehlerarten bleiben hinter einer Gesamtzahl verborgen?
- Folgenabschätzung: Wer gewinnt, wer trägt Risiken, und was passiert bei Fehlentscheidungen?
- Grundrechte: Welche Rechte, Schutzbedürfnisse und Werte sind betroffen?
- Menschliche Aufsicht: Wer kann verstehen, eingreifen, überstimmen und stoppen?
- Rechenschaft: Wer dokumentiert, erklärt, prüft Beschwerden und trägt die Verantwortung?
Der Check ersetzt keine Fachprüfung durch Datenschutzbeauftragte, Juristinnen, Pädagogen oder technische Expertinnen. Er hilft Dir aber, früh die richtigen Fragen zu stellen.
Fächerübergreifende Perspektiven
| Fach | Leitfrage zur Fallstudie | Typische Methode |
|---|---|---|
| Informatik | Wie entsteht aus Daten eine Vorhersage? | Systemdiagramm, Datenfluss, Modelltest |
| Mathematik | Wie gut arbeitet das System wirklich? | Prozentrechnung, Konfusionsmatrix, Gruppenvergleich |
| Deutsch | Welche Behauptung ist belegt und welche nur plausibel? | Quellenkritik, Argumentationsanalyse, begründetes Urteil |
| Technik | Was passiert bei Fehlfunktion, Ausfall oder Fehlbedienung? | Risikoanalyse, Fail-Safe, Mensch-Maschine-Schnittstelle |
| Wirtschaft | Welche Kosten, Nutzen und Anreize entstehen? | Kosten-Nutzen-Abwägung, Folgekosten, Ressourcenanalyse |
| Geschichte | Welche alten Muster können in neuen Daten fortwirken? | Kontinuität und Wandel, historische Kontextualisierung |
| Ethik | Welche Werte kollidieren? | Werteabwägung, Perspektivwechsel, Verantwortungsargument |
| Gemeinschaftskunde | Wer entscheidet, kontrolliert und kann widersprechen? | Stakeholderanalyse, Grundrechte, demokratische Rechenschaft |
Fallstudie: Soll „LernRadar“ eingesetzt werden?
Hinweis: „LernRadar“ ist ein fiktives System. Es steht für typische Entscheidungsfragen und bindet den Kurs an keinen realen Anbieter.
Die Schule Am Stadtpark möchte begrenzte Förderstunden gerechter verteilen. Bisher melden Lehrkräfte Schülerinnen und Schüler für Förderangebote an. Die Schulleitung sieht dabei zwei Probleme: Manche Lernende werden sehr spät erkannt, und die Zahl der Empfehlungen unterscheidet sich stark zwischen Klassen.
Ein Anbieter schlägt ein KI-System vor. Es soll jede Woche aus vorhandenen Daten einen Risikowert erzeugen. Verwendet werden sollen Notenentwicklung, Fehlzeiten, Abgabequote, Bearbeitungszeiten in der Lernplattform und Login-Häufigkeit. Das System soll keine endgültige Note vergeben.
Es gibt 20 Förderplätze. Der Anbieter empfiehlt, die 20 höchsten Risikowerte automatisch auszuwählen. Einige Lehrkräfte möchten die Rangliste nur als Hinweis sehen. Die Schülervertretung fordert Transparenz und einen Widerspruchsweg. Eltern fragen nach Datenschutz. Die Schulleitung möchte Kosten senken und gleichzeitig niemanden übersehen.
Stakeholder und Interessen
| Stakeholder | Mögliche Interessen | Mögliche Risiken |
|---|---|---|
| Schülerinnen und Schüler | Rechtzeitige Hilfe, faire Chancen, verständliche Entscheidungen | Stigmatisierung, Fehlentscheidung, Verlust von Privatsphäre |
| Lehrkräfte | Frühzeitige Hinweise, weniger Suchaufwand, pädagogische Freiheit | Automation Bias, zusätzlicher Prüfaufwand, Verantwortungsunklarheit |
| Eltern und Sorgeberechtigte | Sicherheit, Transparenz, faire Behandlung | Unklare Datennutzung, schwer anfechtbare Entscheidungen |
| Schulleitung | Wirksame Förderung, Vergleichbarkeit, planbare Ressourcen | Haftungs- und Reputationsrisiken, falsche Sparanreize |
| Schulträger | Wirtschaftlicher Mitteleinsatz, verlässliche Prozesse | Langfristige Abhängigkeit, Folgekosten, Sicherheitsprobleme |
| Anbieter | Erfolgreicher Einsatz, Vertrag, Produktverbesserung | Interessenkonflikt bei Selbstevaluation, unklare Verantwortung |
| Datenschutzbeauftragte und Aufsicht | Rechtmäßige, zweckgebundene und sichere Verarbeitung | Zu viele Daten, unklare Zwecke, fehlende Dokumentation |
| Schülervertretung | Beteiligung, Beschwerdemöglichkeiten, Schutz vor Benachteiligung | Entscheidungen ohne Mitsprache oder verständliche Erklärung |
Zielkonflikt: Vier Entscheidungsoptionen
Option A – Vollautomatische Auswahl: Die 20 höchsten Scores erhalten automatisch die Plätze.
Option B – KI als Hinweis: Die KI erstellt eine Prioritätenliste. Ein pädagogisches Team prüft Fälle anhand zusätzlicher Informationen und dokumentiert Abweichungen.
Option C – Kein KI-Einsatz: Die Schule verbessert stattdessen das bisherige Meldeverfahren, vereinheitlicht Kriterien und führt regelmäßige Förderkonferenzen ein.
Option D – Begrenzter Pilot: Die Schule testet das System zeitlich begrenzt ohne automatische Platzvergabe, mit reduzierten Daten, unabhängiger Evaluation, Beteiligung Betroffener und klaren Abbruchkriterien.
Es gibt hier keine automatisch richtige Option. Deine Aufgabe ist, mit Daten, Risiken, Rechten, Ressourcen und Schutzmaßnahmen ein nachvollziehbares Urteil zu entwickeln.
Risikoanalyse
Bewerte jedes Risiko nach Eintrittswahrscheinlichkeit und Schadensschwere. Nutze niedrig, mittel oder hoch und begründe Deine Einstufung.
| Risiko | Wer ist betroffen? | Eintrittswahrscheinlichkeit | Schadensschwere | Mögliche Schutzmaßnahme |
|---|---|---|---|---|
| Förderbedarf wird übersehen | Lernende | ? | ? | ? |
| Lernende werden fälschlich markiert | Lernende | ? | ? | ? |
| Instabiler Plattformzugang verzerrt den Score | Bestimmte Lernende | ? | ? | ? |
| Lehrkräfte übernehmen Empfehlung ungeprüft | Lernende und Lehrkräfte | ? | ? | ? |
| Mehr Daten werden gesammelt als nötig | Gesamte Schülerschaft | ? | ? | ? |
| Anbieter bewertet sein eigenes System | Schule und Lernende | ? | ? | ? |
| Beschwerden können nicht wirksam geprüft werden | Betroffene | ? | ? | ? |
Entscheidungsmatrix
Lege selbst Gewichte von 1 bis 5 fest. 1 bedeutet geringe Bedeutung, 5 sehr hohe Bedeutung. Danach bewertest Du jede Option von 1 bis 5. Wichtig ist nicht nur die Zahl, sondern Deine Begründung.
| Kriterium | Dein Gewicht | Option A | Option B | Option C | Option D |
|---|---|---|---|---|---|
| Frühzeitige Unterstützung | |||||
| Fairness | |||||
| Datenschutz | |||||
| Erklärbarkeit | |||||
| Menschliche Kontrolle | |||||
| Kosten und Aufwand | |||||
| Beschwerdemöglichkeit | |||||
| Technische Zuverlässigkeit |
Reflexionsfrage: Welche Veränderung Deiner Gewichtung würde Deine Entscheidung kippen? Eine verantwortliche Entscheidung sollte deutlich machen, an welchen Annahmen sie hängt.
Produktauftrag: KI-Folgenpass und Entscheidungsvorlage
Erstelle allein oder im Team einen KI-Folgenpass auf einer Seite, als Plakat, digitales Dokument oder kurze Präsentation. Er muss so verständlich sein, dass eine Person, die nicht an der Unterrichtsstunde teilgenommen hat, Deine Entscheidung nachvollziehen kann.
Der Folgenpass enthält:
- Problemdefinition: Welches Problem soll gelöst werden?
- Systemkarte: Welche Daten gehen hinein, was erzeugt das Modell und wer entscheidet danach?
- Datenbewertung: Welche Daten sind nötig, welche problematisch und welche fehlen möglicherweise?
- Kennzahlen: Welche Leistungswerte sind wichtig und welche Gruppenunterschiede wurden sichtbar?
- Stakeholderanalyse: Wer profitiert, wer trägt Risiken und wer hat Entscheidungsmacht?
- Risikomatrix: Welche Schäden sind möglich und wie können sie verringert werden?
- Grundrechte und Werte: Welche Rechte und Werte sind betroffen?
- Menschliche Kontrolle: Wer darf überstimmen, stoppen und Beschwerden prüfen?
- Entscheidung: Einsatz, Nicht-Einsatz oder Pilot – jeweils mit Bedingungen.
- Unsicherheit: Welche Informationen fehlen noch?
- KI-Nutzungsprotokoll: Was wurde mit KI unterstützt und was wurde von Menschen geprüft und entschieden?
Vorlage für das KI-Nutzungsprotokoll
Wenn Du in diesem Projekt ein generatives KI-System nutzt, dokumentiere mindestens:
| Schritt | Menschliche Aufgabe | Mögliche KI-Unterstützung | Prüfung durch Menschen |
|---|---|---|---|
| Fragestellung | Problem selbst formulieren | Varianten von Leitfragen vorschlagen | Passt die Frage wirklich zum Fall? |
| Recherche | Geeignete Quellen auswählen | Suchbegriffe oder Themenfelder vorschlagen | Aussagen mit Originalquellen prüfen |
| Analyse | Daten interpretieren und Zielkonflikte erkennen | Gegenargumente oder Prüffragen vorschlagen | Rechenwege und Schlussfolgerungen selbst kontrollieren |
| Entwurf | Eigene Position entwickeln | Struktur oder sprachliche Varianten vorschlagen | Begründungen, Belege und Auslassungen prüfen |
| Entscheidung | Verantwortung übernehmen | Darf keine endgültige Verantwortung übernehmen | Mensch begründet und unterschreibt die Entscheidung |
Sicherheitsregel: Gib in öffentlich zugängliche KI-Systeme keine echten personenbezogenen Schuldaten ein, wenn dafür keine ausdrücklich freigegebene und rechtlich geeignete Lösung vorgesehen ist.
Quellenkritik bei KI-Unterstützung
Ein KI-Text ist keine Quelle. Er kann ein Ausgangspunkt für Fragen sein. Für überprüfbare Behauptungen brauchst Du geeignete Belege.
Nutze für wichtige Aussagen möglichst:
- Primärquelle: Gesetzestext, Behördendokument, Originalstudie oder offizielle Statistik
- Sekundärquelle: Seriöse Einordnung durch Wissenschaft, Bildungseinrichtung oder Qualitätsmedium
- Quellenvergleich: Prüfe, ob mehrere voneinander unabhängige Quellen dieselbe Aussage stützen
Frage bei jeder Behauptung:
Wer sagt das? Worauf stützt sich die Aussage? Wie aktuell ist die Quelle? Welche Interessen könnten eine Rolle spielen? Ist die Aussage Beobachtung, Berechnung, Interpretation oder Meinung?
Selbstkontrolle vor der Abgabe
| Prüffrage | Ja | Noch offen |
|---|---|---|
| Kann ich das Ziel des KI-Projekts in einem Satz erklären? | □ | □ |
| Habe ich Eingabedaten, Modell-Ausgabe und menschliche Entscheidung getrennt? | □ | □ |
| Habe ich mindestens zwei Fehlerarten betrachtet? | □ | □ |
| Habe ich Gruppenunterschiede oder mögliche Verzerrungen geprüft? | □ | □ |
| Habe ich Nutzen und Risiken für mehrere Stakeholder betrachtet? | □ | □ |
| Habe ich Datenschutz, Fairness und Grundrechte einbezogen? | □ | □ |
| Ist klar, wer eingreifen, überstimmen und stoppen kann? | □ | □ |
| Gibt es einen Beschwerde- oder Korrekturweg? | □ | □ |
| Ist meine Entscheidung mit Daten, Werten und Unsicherheiten begründet? | □ | □ |
| Habe ich meinen Mensch-KI-Arbeitsprozess dokumentiert? | □ | □ |
Reflexion und Transfer
Vergleiche jetzt Deine erste spontane Entscheidung aus der Aktivierung mit Deinem jetzigen Urteil.
Reflektiere: Was hat Deine Meinung verändert? Eine Kennzahl? Ein Grundrecht? Die Perspektive eines Stakeholders? Ein Risiko? Oder die Erkenntnis, dass eine scheinbar „menschliche Kontrolle“ nur formal sein kann?
Bei einem selbstfahrenden Fahrzeug werden Sensoren, Software, Verkehrsregeln, Menschen und Sicherheitsmechanismen zusammengedacht. Übertrage dieses Denken auf andere KI-Systeme: Ein Modell ist nur ein Teil eines größeren Systems.
Mögliche Transferfelder sind Bewerbungsverfahren, Kreditwürdigkeitsprüfung, Medizinische Diagnostik, Inhaltsmoderation, Verkehrstechnik und Öffentliche Verwaltung. Stelle jeweils dieselben Fragen: Welche Daten? Welche Fehler? Welche Folgen? Welche Rechte? Welche menschliche Kontrolle?
Quellenbasis und Vertiefung
Die folgenden Quellen eignen sich zur Überprüfung und Vertiefung:
- Verordnung EU 2024/1689 – Artificial Intelligence Act: Offizieller EU-Rechtsrahmen für KI.
- Europäische Kommission – AI Act: Überblick zum risikobasierten Ansatz, zu Transparenz und menschlicher Aufsicht.
- Europäische Kommission – Datenschutz erklärt: Grundprinzipien der DSGVO und Rechte bei Datenverarbeitung.
- Antidiskriminierungsstelle des Bundes – KI und Diskriminierung: Materialien zu möglichen Benachteiligungen durch algorithmische Systeme.
- Bundeszentrale für politische Bildung – Künstliche Intelligenz in der Schule: Bildungsbezogene Einordnung und Beispiele algorithmischer Diskriminierung.
Die verwendeten Wikimedia-Commons-Abbildungen sind auf ihren jeweiligen Dateiseiten mit freien Lizenzen oder als gemeinfrei gekennzeichnet. Prüfe bei Weiterverwendung immer die konkrete Lizenz und die erforderliche Namensnennung.
Interaktive Aufgaben
Quiz: Teste Dein Wissen
Was beschreibt Human Agency im KI-Projekt am besten? (Menschen bleiben handlungsfähig und übernehmen die begründete Verantwortung) (!Die KI entscheidet schneller als Menschen) (!Menschen dürfen keine technischen Hilfsmittel nutzen) (!Jede KI-Ausgabe muss unverändert übernommen werden)
Warum reicht eine hohe Gesamtgenauigkeit für die Bewertung eines KI-Systems nicht aus? (Fehler können unterschiedlich verteilt sein und unterschiedliche Folgen haben) (!Gesamtgenauigkeit darf nur bei Robotern verwendet werden) (!Eine hohe Genauigkeit bedeutet immer, dass zu wenige Daten vorliegen) (!Gesamtgenauigkeit misst ausschließlich die Rechengeschwindigkeit)
Was ist in der Fallstudie ein falsch positives Ergebnis? (Eine Person wird als Förderfall markiert obwohl kein Förderbedarf vorliegt) (!Eine Person mit Förderbedarf wird korrekt erkannt) (!Eine Person ohne Förderbedarf wird korrekt nicht markiert) (!Eine Person mit Förderbedarf wird übersehen)
Was bedeutet Datenminimierung? (Es werden nur die für den festgelegten Zweck notwendigen personenbezogenen Daten verarbeitet) (!Alle verfügbaren Daten werden vorsorglich gespeichert) (!Daten werden nach jeder Berechnung automatisch veröffentlicht) (!Nur Zahlen dürfen als Daten verwendet werden)
Warum kann eine Proxy-Variable problematisch sein? (Sie kann indirekt andere Lebensumstände oder sensible Merkmale abbilden) (!Sie verhindert grundsätzlich jede statistische Berechnung) (!Sie enthält immer absichtlich falsche Werte) (!Sie darf nur in historischen Quellen vorkommen)
Was kennzeichnet wirksame menschliche Aufsicht? (Eine zuständige Person kann verstehen prüfen widersprechen und eingreifen) (!Eine Person klickt nach jeder KI-Ausgabe automatisch auf Bestätigen) (!Die KI erklärt sich ausschließlich anderen KI-Systemen) (!Menschen sehen nur das Endergebnis und dürfen es nicht ändern)
Wozu dient ein dokumentierter Mensch-KI-Arbeitsprozess? (Er macht Beiträge Prüfungen Änderungen und Verantwortung nachvollziehbar) (!Er ersetzt jede Quellenprüfung) (!Er erlaubt die Nutzung beliebiger personenbezogener Daten) (!Er macht menschliche Entscheidungen überflüssig)
Was ist das Ziel einer Stakeholderanalyse? (Betroffene Interessen Einfluss und Risiken verschiedener Gruppen sichtbar machen) (!Nur die technischen Kosten des Systems berechnen) (!Eine einzige Person als alleinige Ursache aller Risiken bestimmen) (!Alle Konflikte durch Mehrheitsentscheid automatisch lösen)
Wozu dient ein Testdatensatz beim maschinellen Lernen? (Die Leistung des Modells an nicht zum Training verwendeten Beispielen abschätzen) (!Die Trainingsdaten möglichst oft zu kopieren) (!Die ethische Entscheidung vollständig zu automatisieren) (!Alle Fehler des späteren Einsatzes sicher auszuschließen)
Was gehört zu einem nachvollziehbaren Verantwortungsurteil? (Nutzen Risiken Rechte Werte Unsicherheiten und Schutzmaßnahmen gegeneinander abwägen) (!Nur die höchste technische Kennzahl auswählen) (!Nur die billigste Lösung auswählen) (!Die Entscheidung vollständig an ein KI-System delegieren)
Memory
| Human Oversight | Wirksame menschliche Aufsicht |
| False Positive | Fälschlich als Risikofall markiert |
| Datenminimierung | Nur notwendige Daten verarbeiten |
| Proxy-Variable | Indirektes Merkmal mit möglicher Stellvertreterwirkung |
| Stakeholder | Betroffene oder einflussnehmende Gruppe |
| Beschwerdeweg | Entscheidung anfechten und prüfen lassen |
| Audit-Trail | Nachvollziehbare Dokumentationsspur |
| Bias | Systematische Verzerrung |
Drag and Drop
| Ordne die richtigen Begriffe zu. | Thema |
|---|---|
| Trainingsdaten | Modell an Beispielen anpassen |
| Testdaten | Leistung an nicht zum Training genutzten Fällen prüfen |
| Falsch negativ | Tatsächlicher Förderbedarf wird übersehen |
| Menschliche Aufsicht | Empfehlung prüfen und bei Bedarf übersteuern |
| Datenminimierung | Nur zwecknotwendige Daten verwenden |
| Stakeholderanalyse | Interessen Betroffener und Beteiligter vergleichen |
Kreuzworträtsel
| Aufsicht | Wie heißt die menschliche Kontrolle eines KI-Systems mit einem Wort? |
| Fairness | Welcher Begriff bezeichnet eine gerechte Verteilung von Chancen und Risiken? |
| Transparenz | Wie heißt das Prinzip der Nachvollziehbarkeit und Offenlegung? |
| Datenschutz | Welcher Begriff beschreibt den Schutz personenbezogener Informationen? |
| Stakeholder | Wie nennt man eine betroffene oder einflussnehmende Interessengruppe? |
| Fehlerrate | Welcher Begriff beschreibt den Anteil falscher Ergebnisse? |
LearningApps
Lückentext
Offene Aufgaben
Leicht
- Systemkette: Zeichne für einen KI-Einsatz Deiner Wahl die Kette Daten → Modell → Ausgabe → Entscheidung → Folge und markiere, an welcher Stelle ein Mensch eingreifen kann.
- Stakeholderkarte: Erstelle für die Fallstudie eine Karte mit mindestens fünf Stakeholdern und jeweils einem Interesse sowie einem Risiko.
- Fehlerfolgen: Schreibe zwei kurze Alltagsszenarien: eines für einen falsch positiven und eines für einen falsch negativen Fehler.
- Quellencheck: Vergleiche eine KI-generierte Erklärung zu algorithmischer Fairness mit einer offiziellen oder wissenschaftlichen Quelle und markiere drei überprüfte Aussagen.
Standard
- Risikomatrix: Bewerte mindestens fünf Risiken der Fallstudie nach Wahrscheinlichkeit und Schadensschwere und entwickle zu jedem eine Schutzmaßnahme.
- Fairnessanalyse: Interpretiere die Gruppenkennzahlen aus der Fallstudie und formuliere zwei Hypothesen für die Unterschiede, ohne eine Ursache als bewiesen darzustellen.
- Entscheidungsmemo: Verfasse eine begründete Empfehlung an die Schulleitung. Nenne mindestens ein Gegenargument und erkläre, warum Deine Entscheidung trotzdem vertretbar ist.
- KI-Nutzungsprotokoll: Nutze optional ein generatives KI-System zur Sammlung von Gegenargumenten. Dokumentiere Prompt, Ausgabe, überprüfte Aussagen, verworfene Vorschläge und Deine menschliche Endentscheidung.
Schwer
- Schwellenwertanalyse: Entwickle zwei alternative Schwellenwerte für das Fördersystem und erkläre qualitativ, wie sich dadurch falsch positive und falsch negative Entscheidungen verändern könnten.
- Human-in-the-Loop: Entwirf einen konkreten Ablauf mit Rollen, Prüfschritten, Zeitfenstern, Übersteuerungsrecht, Beschwerdeweg und Stop-Kriterium.
- Policy-Entwurf: Schreibe eine schulische Regel für verantwortlichen KI-Einsatz mit maximal zehn klaren Sätzen. Beziehe Datenminimierung, Transparenz, Fairness, menschliche Kontrolle und Dokumentation ein.
- Transferprojekt: Übertrage den 7-Fragen-Verantwortungscheck auf ein anderes Feld wie Bewerbung, Kredit, Medizin, Verkehr oder Inhaltsmoderation und präsentiere Unterschiede zum Schulfall.
|
|
Lernkontrolle
- Systemurteil: Ein KI-System erreicht 92 % Genauigkeit, macht aber in einer kleinen Schülergruppe doppelt so viele Fehler wie in anderen Gruppen. Erkläre, warum eine Entscheidung über den Einsatz nicht allein mit 92 % begründet werden kann.
- Zielkonflikt: Eine Schule kann durch Automatisierung Zeit sparen, benötigt für wirksame menschliche Kontrolle aber zusätzliche Prüfzeit. Entwickle eine Lösung, die beide Ziele berücksichtigt, und benenne verbleibende Nachteile.
- Datenentscheidung: Ein Anbieter möchte zusätzlich Wohnort, Endgerät, Uhrzeit der Plattformnutzung und Freitext-Kommentare speichern. Entscheide für jedes Merkmal, welche Informationen Du zur Beurteilung seiner Notwendigkeit verlangen würdest.
- Verantwortungskette: In einem Fall folgen Lehrkräfte fast immer der KI-Empfehlung. Entwickle drei organisatorische Änderungen, die echte menschliche Kontrolle stärken.
- Stakeholderkonflikt: Die Schulleitung möchte Effizienz, die Schülervertretung Transparenz und Beschwerderechte, der Anbieter mehr Trainingsdaten. Formuliere einen Kompromiss und begründe, welche Forderungen Du begrenzt oder ablehnst.
- Transferurteil: Übertrage die Fallstudie auf ein KI-System zur Vorauswahl bei Bewerbungen. Welche Risiken bleiben ähnlich, welche verändern sich und welche zusätzlichen Schutzmaßnahmen werden wichtig?
Lernnachweis
Für einen überzeugenden Lernnachweis zu diesem Thema sind besonders wichtig:
- Systemverständnis: Du kannst Daten, Modell, Ausgabe, menschliche Entscheidung und Folgen auseinanderhalten.
- Datenkompetenz: Du kannst Kennzahlen interpretieren und erkennst, dass Gesamtwerte Gruppenunterschiede verdecken können.
- Risikokompetenz: Du benennst Fehlerfolgen, Wahrscheinlichkeit, Schadensschwere und geeignete Schutzmaßnahmen.
- Grundrechtsorientierung: Du beziehst Datenschutz, Gleichbehandlung, Bildungschancen, Transparenz und Beschwerdemöglichkeiten ein.
- Human Agency: Du zeigst, wie Menschen kompetent, informiert, zeitlich realistisch und mit echter Entscheidungsmacht eingebunden bleiben.
- Stakeholderperspektive: Du berücksichtigst mehrere betroffene und verantwortliche Gruppen.
- Urteilsfähigkeit: Du wägest Werte und Zielkonflikte ab, statt nur eine Kennzahl oder Meinung zu nennen.
- Quellenkritik: Du unterscheidest KI-Ausgaben von überprüfbaren Quellen und kennzeichnest Unsicherheiten.
- Dokumentation: Du dokumentierst den Mensch-KI-Arbeitsprozess so, dass Beiträge, Prüfungen und Endentscheidung nachvollziehbar sind.
- Produktqualität: Dein KI-Folgenpass führt zu einer klaren, begründeten und überprüfbaren Empfehlung.
OERs zum Thema
Verknüpfte Lernbereiche
Der Kurs verbindet technische, mathematische, sprachliche, gesellschaftliche und ethische Perspektiven. Entscheidend ist, dass Du KI nicht als isoliertes Werkzeug, sondern als Teil eines Systems aus Daten, Menschen, Regeln, Institutionen und Folgen beurteilst.