Automatisierte Entscheidungen kritisch beurteilen
Automatisierte Entscheidungen kritisch beurteilen
Automatisierte Entscheidungen kritisch beurteilen
Einleitung
Automatisierte Entscheidungen begegnen Dir längst im Alltag: Ein Spamfilter sortiert Nachrichten, eine Plattform ordnet Beiträge, ein Navigationssystem schlägt eine Route vor, ein Onlineshop bewertet Bestellungen oder ein digitales Lernsystem empfiehlt Übungen. Manchmal sind die Folgen klein. Manchmal kann eine automatisierte Bewertung aber darüber mitentscheiden, wer zu einem Auswahlgespräch eingeladen wird, wer Unterstützung erhält oder welche Bildungsangebote jemand nutzen kann.
Die zentrale KI-Kompetenz dieses Lernkurses lautet deshalb: Du kannst ein automatisiertes Entscheidungssystem nicht nur nach seinem Ergebnis beurteilen, sondern nach Zweck, Daten, Fehlern, Folgen, Fairness, Transparenz und Verantwortung. Du sollst am Ende Belege heranziehen, unterschiedliche Interessen abwägen und ein begründetes Urteil formulieren.
Ein wichtiger Gedanke dabei ist: Ein Computer entscheidet nicht „objektiv“, nur weil er rechnet. Menschen legen Ziele fest, wählen Daten aus, bestimmen Regeln oder Trainingsverfahren, definieren Schwellenwerte und entscheiden, wie ein Ergebnis verwendet wird. Gleichzeitig können automatisierte Verfahren menschliche Entscheidungen auch verbessern, etwa indem sie große Datenmengen konsistent auswerten oder auf übersehene Fälle hinweisen. Die entscheidende Frage lautet deshalb nicht einfach „Mensch oder Maschine?“, sondern: Welche Aufgaben dürfen automatisiert werden, unter welchen Bedingungen und wer trägt Verantwortung?
Zielgruppe, Dauer und Fächerbezüge
Der Lernkurs richtet sich vor allem an Klasse 9 und ist für etwa eine bis zwei Unterrichtsstunden angelegt. Er verbindet Informatik, Deutsch, Mathematik, Technik, Wirtschaft, Geschichte, Ethik und Gemeinschaftskunde.
| Fach | Beitrag zum Thema |
|---|---|
| Informatik | Aufbau von Daten-, Regel- und KI-Systemen; Klassifikation; Schwellenwerte; Rückkopplungen |
| Mathematik | Anteile, Fehlerraten, Vergleich von Gruppen, Aussagekraft von Kennzahlen |
| Deutsch | Argumentieren, Quellen prüfen, Behauptungen und Belege unterscheiden, Urteile begründen |
| Ethik | Fairness, Verantwortung, Menschenwürde, Folgenabwägung, Human Agency |
| Gemeinschaftskunde | Grundrechte, Macht, Kontrolle, Widerspruchsmöglichkeiten, demokratische Rechenschaft |
| Wirtschaft | Bewerbungen, Kredite, Versicherungen, Plattformen und wirtschaftliche Anreize |
| Technik | Zuverlässigkeit, Sicherheit, Fehlertoleranz, Mensch-Maschine-Schnittstellen |
| Geschichte | Historische Daten als Spiegel früherer Ungleichheiten und institutioneller Entscheidungen |
Lernziele
Nach dem Kurs kannst Du eine automatisierte Entscheidung als Teil eines soziotechnischen Systems beschreiben. Du kannst erklären, warum Daten, Zielgrößen und Schwellenwerte das Ergebnis beeinflussen. Du kannst zwischen Treffern und Fehlern unterscheiden, Fehlerquoten vergleichen und fragen, für wen ein System gut oder schlecht funktioniert. Du kannst Risiken wie algorithmische Verzerrung, Diskriminierung, Intransparenz, Automationsgläubigkeit und Rückkopplungseffekte erkennen. Du kannst außerdem beurteilen, wann menschliche Kontrolle, Begründungen, Widerspruchsmöglichkeiten oder ein Verzicht auf Automatisierung nötig sind.
Unterrichtsweg für 45 oder 90 Minuten
| Phase | Kurzversion | Vertiefung |
|---|---|---|
| Aktivierung | 5 Minuten: Vier Alltagssituationen einschätzen | 10 Minuten: Einschätzung begründen und Kriterien sammeln |
| Einführung | 10 Minuten: Systemkette und KRAFT-Prüfraster | 15 Minuten: zusätzlich Daten, Schwellenwerte und Fehlerarten |
| Anwendung | 20 Minuten: Schulfall „Förderplatz-Vorauswahl“ | 30 Minuten: zusätzlich Gruppenvergleich und Risikomatrix |
| Urteil | 10 Minuten: Entscheidung mit Belegen | 20 Minuten: Anhörung, Gegenargument und Revision |
| Reflexion | als Exit-Ticket | 15 Minuten: Transfer auf einen eigenen Fall |
Aktivierung und Diagnose
Stell Dir vor, Deine Schule könnte in vier Situationen automatisierte Systeme einsetzen. Entscheide zunächst spontan jeweils zwischen vertretbar, nur mit Bedingungen und nicht vertretbar.
- Spamfilter: Ein System verschiebt verdächtige Schul-E-Mails automatisch in einen Spamordner.
- Bibliothek: Ein System erinnert automatisch an überfällige Bücher.
- Praktikum: Ein System sortiert Bewerbungen für begehrte Praktikumsplätze nach einem Eignungsscore.
- Leistungsbewertung: Ein System soll aus Lernplattformdaten automatisch eine Zeugnisnote vorschlagen.
Vergleiche anschließend mit einer Partnerin oder einem Partner: Welche Eigenschaft der Entscheidung hat Eure Einschätzung verändert? Achte besonders auf Tragweite, Fehlerfolgen, Möglichkeit zur Korrektur, Transparenz und die Frage, ob ein Mensch sinnvoll eingreifen kann.
Wie automatisierte Entscheidungen entstehen
Eine automatisierte Entscheidung ist ein Prozess, bei dem Daten mithilfe festgelegter Regeln oder eines statistischen beziehungsweise KI-basierten Modells verarbeitet werden und daraus eine Auswahl, Einstufung, Empfehlung oder Handlung entsteht. Nicht jede automatisierte Entscheidung ist KI. Ein fest programmiertes Wenn-dann-System kann ebenso automatisieren wie ein maschinell gelerntes Modell.
Ein typischer Ablauf besteht aus Eingaben, Verarbeitung, Ergebnis und Handlung. Bei einem lernenden System kommt häufig ein zusätzlicher Schritt hinzu: Aus früheren Beispielen werden Muster gelernt. Das System kann dann für einen neuen Fall etwa eine Wahrscheinlichkeit oder einen Score berechnen.
Beispiel: Eine Schule möchte für ein freiwilliges Förderprogramm zwanzig Plätze vergeben. Ein System berechnet aus bisherigen Leistungsdaten, Fehlzeiten und bearbeiteten Aufgaben einen Unterstützungsbedarf. Ab einem bestimmten Score wird ein Förderplatz empfohlen. Schon hier stecken mehrere Entscheidungen von Menschen im System: Welche Daten zählen? Was bedeutet „Unterstützungsbedarf“? Wie wird Erfolg gemessen? Wo liegt die Grenze für eine Empfehlung? Was passiert, wenn Daten fehlen?
Die Systemkette: Daten → Modell → Score → Schwelle → Handlung → Folgen
| Schritt | Leitfrage | Typisches Risiko |
|---|---|---|
| Daten | Welche Informationen werden verwendet und wer fehlt? | Unvollständige oder verzerrte Daten |
| Modell oder Regel | Welche Zusammenhänge werden berechnet? | Ungeeignete Annahmen oder versteckte Proxys |
| Score | Was bedeutet die Zahl tatsächlich? | Wahrscheinlichkeit wird mit Gewissheit verwechselt |
| Schwellenwert | Ab wann wird gehandelt? | Unterschiedliche Fehlerfolgen werden ignoriert |
| Handlung | Wer bekommt welche Chance oder Belastung? | Entscheidung wird zu automatisch übernommen |
| Folgen | Was verändert die Entscheidung in der Wirklichkeit? | Rückkopplungen verstärken frühere Muster |
Die zentrale KI-Kompetenz: der KRAFT-Check
Für diesen Lernkurs nutzt Du ein didaktisches Prüfraster mit fünf Fragen. Es ist kein amtlicher Standard, sondern eine Merkhilfe für begründete Urteile.
| KRAFT | Prüffeld | Fragen |
|---|---|---|
| K | Kontext und Konsequenzen | Worum geht es? Wie wichtig ist die Entscheidung? Was passiert bei einem Fehler? Ist die Entscheidung rückgängig zu machen? |
| R | Regeln und Rechte | Welche Regeln gelten? Werden Betroffene informiert? Können sie widersprechen oder eine Überprüfung verlangen? |
| A | Ausgangsdaten und Annahmen | Woher stammen die Daten? Sind sie passend, aktuell und ausreichend? Welche Annahmen über Menschen stecken darin? |
| F | Fehler und Fairness | Wie oft liegt das System falsch? Welche Fehlerarten gibt es? Treffen Fehler bestimmte Gruppen häufiger oder schwerer? |
| T | Transparenz und Verantwortung | Kann die Entscheidung nachvollzogen werden? Wer darf sie korrigieren? Wer trägt Verantwortung? |
KRAFT-Regel: Je größer die mögliche Wirkung auf Bildungschancen, Geld, Sicherheit, Rechte oder gesellschaftliche Teilhabe ist, desto höher müssen die Anforderungen an Datenqualität, Prüfung, Transparenz, menschliche Kontrolle und Widerspruchsmöglichkeiten sein.
Daten kritisch prüfen
Ein KI-System lernt nicht „die Welt“, sondern Muster in den Daten, die ihm zur Verfügung stehen. Diese Daten können lückenhaft, historisch geprägt oder für die aktuelle Aufgabe ungeeignet sein. Wenn vergangene Entscheidungen bestimmte Gruppen benachteiligt haben, kann ein Modell diese Muster als scheinbar nützliche Vorhersage übernehmen.
Die Abbildung veranschaulicht zwei unterschiedliche Probleme. Bias bedeutet eine systematische Abweichung in eine bestimmte Richtung. Streuung oder Noise bedeutet, dass Ergebnisse stark schwanken. Ein Entscheidungssystem kann deshalb im Durchschnitt scheinbar brauchbar wirken und trotzdem bestimmte Gruppen systematisch benachteiligen.
Das Video „Machine Learning and Human Bias“ eignet sich als kurzer Impuls. Prüfe beim Ansehen: An welcher Stelle gelangen menschliche Auswahlentscheidungen in ein lernendes System?
Fünf Datenfragen
- Repräsentativität: Sind die Personen und Situationen, für die das System eingesetzt wird, in den Daten ausreichend vertreten?
- Aktualität: Beschreiben die Daten noch die heutige Situation oder spiegeln sie alte Bedingungen?
- Messqualität: Misst ein Merkmal wirklich das, was behauptet wird?
- Proxy: Wird ein scheinbar neutrales Merkmal verwendet, das indirekt mit sozialer Lage, Geschlecht, Herkunft, Behinderung oder anderen geschützten Merkmalen zusammenhängt?
- Datenlücke: Was passiert, wenn Daten fehlen, falsch sind oder nur bei bestimmten Gruppen zuverlässig erhoben werden?
Ein anschauliches Proxy-Beispiel
Angenommen, ein Unternehmen möchte „Zuverlässigkeit“ vorhersagen und verwendet dafür die Entfernung zwischen Wohnort und Arbeitsplatz. Das Merkmal sieht zunächst neutral aus. Wenn aber Wohnorte stark mit Einkommen, Infrastruktur oder sozialer Lage zusammenhängen, kann die Entfernung indirekt Ungleichheiten abbilden. Ein Proxy ist also ein Ersatzmerkmal, das Informationen über etwas transportieren kann, obwohl dieses Merkmal gar nicht direkt erhoben wird.
Die richtige Reaktion lautet nicht automatisch „Proxy verbieten“. Du musst prüfen, ob das Merkmal für den Zweck sachlich sinnvoll, notwendig, fair und rechtlich zulässig ist und welche Folgen seine Verwendung hat.
Genauigkeit ist nicht dasselbe wie Fairness
Ein System kann eine hohe Gesamtgenauigkeit haben und trotzdem für bestimmte Personen problematisch sein. Deshalb reicht die Aussage „Das System ist zu 90 Prozent korrekt“ nicht aus.
Bei einer Ja-Nein-Entscheidung sind mindestens vier Fälle wichtig:
| Wirklichkeit | System sagt Ja | System sagt Nein |
|---|---|---|
| Person erfüllt das Kriterium | richtiger Treffer | False Negative: berechtigte Person wird übersehen |
| Person erfüllt das Kriterium nicht | False Positive: Person wird fälschlich ausgewählt oder verdächtigt | richtiger Ausschluss |
Welche Fehlerart schlimmer ist, hängt vom Kontext ab. Bei einem Spamfilter ist eine übersehene Spamnachricht meist weniger schlimm als eine wichtige Schulmail, die fälschlich verschwindet. Bei einer Förderplatzvergabe kann dagegen besonders problematisch sein, wenn eine unterstützungsbedürftige Person fälschlich keinen Platz bekommt.
Mini-Datenlabor: Zwei Gruppen vergleichen
Ein fiktives System soll entscheiden, welche Schülerinnen und Schüler zu einem freiwilligen Fördergespräch eingeladen werden. Die Schule testet das System rückblickend an zwei gleich großen Gruppen.
| Ergebnis | Gruppe A | Gruppe B |
|---|---|---|
| Unterstützungsbedarf richtig erkannt | 8 | 5 |
| Unterstützungsbedarf übersehen | 2 | 5 |
| Unnötig eingeladen | 4 | 3 |
| Korrekt nicht eingeladen | 6 | 7 |
Rechne für jede Gruppe: Wie viele von zehn tatsächlich unterstützungsbedürftigen Personen werden übersehen? In Gruppe A sind es 2 von 10, also 20 Prozent. In Gruppe B sind es 5 von 10, also 50 Prozent.
Deine Bewertungsfrage: Reicht es, dass das System insgesamt mehr richtige als falsche Entscheidungen trifft? Oder ist die ungleiche Verteilung der Fehler ein Grund, das System zu verändern oder vorerst nicht einzusetzen? Begründe mit mindestens zwei Kriterien aus dem KRAFT-Check.
Warum Fairness nicht nur eine Zahl ist
Es gibt verschiedene mathematische Fairnesskriterien. Man kann zum Beispiel verlangen, dass Gruppen ähnlich häufig fälschlich ausgeschlossen werden, ähnlich häufig ausgewählt werden oder dass ein positiver Score in allen Gruppen ähnlich zuverlässig ist. Solche Kriterien können miteinander in Konflikt geraten. Deshalb ist Fairness nicht nur eine Rechenaufgabe. Man muss zusätzlich klären, welcher Fehler in welchem Kontext welches Gewicht hat und welche Rechte und Chancen betroffen sind.
Automatisierte Entscheidungen als soziotechnisches System
Ein häufiger Denkfehler besteht darin, nur das Modell zu betrachten. In Wirklichkeit entstehen Folgen aus dem Zusammenspiel von Technik, Daten, Organisation und Menschen. Ein technisch gutes Modell kann unfair eingesetzt werden. Ein einfaches Modell kann in einem transparenten, überprüfbaren Verfahren dagegen vertretbar sein.
Ein vollständiger Systemblick umfasst deshalb die Entwicklerinnen und Entwickler, die Organisation, die das System kauft oder betreibt, die Personen, die Ergebnisse interpretieren, die Betroffenen und die Regeln, nach denen Widerspruch oder Korrektur möglich ist.
Rückkopplungen können Ungleichheiten verstärken
Bei Rückkopplungen beeinflusst eine Entscheidung die Daten, die später wieder zum Training oder zur Bewertung genutzt werden. Wird etwa bestimmten Inhalten häufiger Sichtbarkeit gegeben, erhalten sie mehr Reaktionen. Diese Reaktionen können dann als Beleg dienen, dass genau diese Inhalte „beliebt“ seien. Ähnliche Effekte sind auch bei Bewertungen von Personen denkbar: Wer weniger Chancen erhält, sammelt möglicherweise weniger positive Erfahrungen, die ein späteres System wiederum als Daten nutzen könnte.
Prüffrage: Spiegelt das System nur eine bestehende Realität oder trägt es dazu bei, diese Realität selbst zu erzeugen?
Gesellschaftliche Folgen
Automatisierte Systeme können Entscheidungen schneller und einheitlicher machen. Sie können auch helfen, große Informationsmengen zu strukturieren und Menschen auf Risiken hinzuweisen. Gleichzeitig besitzen sie besondere gesellschaftliche Risiken, weil sie Entscheidungen in großer Zahl wiederholen können.
Problematisch wird es besonders, wenn eine falsche Annahme viele Menschen gleichzeitig betrifft, wenn Betroffene die Logik nicht nachvollziehen können, wenn ein Score als objektive Wahrheit erscheint oder wenn niemand sich verantwortlich fühlt. Außerdem kann Macht ungleich verteilt sein: Die Organisation kennt das System, während die betroffene Person nur das Ergebnis sieht.
Automationsgläubigkeit und Human Agency
Automation Bias bedeutet, dass Menschen einer automatisierten Empfehlung zu stark vertrauen, obwohl sie Fehler machen kann. Eine menschliche Person „in der Schleife“ reicht deshalb nicht automatisch aus. Menschliche Kontrolle ist nur sinnvoll, wenn die kontrollierende Person genügend Zeit, Informationen, Kompetenz und Befugnisse hat, einer Empfehlung zu widersprechen.
Human Agency bedeutet in diesem Kurs: Menschen behalten die Fähigkeit, Ziele zu setzen, Entscheidungen zu verstehen, Alternativen zu prüfen, Verantwortung zu übernehmen und technische Empfehlungen zu überstimmen, wenn gute Gründe dafür sprechen.
Joy Buolamwini zeigt in ihrem Vortrag, wie Unterschiede in Trainings- und Testdaten zu sehr ungleichen Ergebnissen bei Gesichtsanalyse führen können. Das Video ist englischsprachig; Untertitel können beim Verständnis helfen. Nutze es nicht als Beweis für jede heutige Gesichtserkennung, sondern als Fallbeispiel dafür, wie systematische Unterschiede entdeckt, gemessen und öffentlich diskutiert werden können.
Anwendungssituation: Wer bekommt einen Förderplatz?
Deine Schule plant ein freiwilliges Lerncoaching. Es gibt weniger Plätze als Interessierte. Ein Anbieter schlägt ein automatisiertes System vor, das Schülerinnen und Schüler nach einem „Unterstützungsindex“ sortiert. Die Schulleitung muss entscheiden, ob und wie das System eingesetzt werden darf.
Das Systemdossier
| Information | Stand |
|---|---|
| Ziel | Schülerinnen und Schüler mit hohem Unterstützungsbedarf früh erkennen |
| Verwendete Daten | letzte zwei Klassenarbeiten, Fehlzeiten, Zahl verspäteter Aufgaben, Nutzung freiwilliger Onlineübungen |
| Nicht verwendete Daten | persönliche Gespräche, aktuelle familiäre Belastungen, Gründe für Fehlzeiten |
| Training | Daten aus den vergangenen drei Schuljahren |
| Ausgabe | Score von 0 bis 100 |
| Schwelle | ab Score 65 automatische Empfehlung für einen Platz |
| Test | Gesamtgenauigkeit 81 Prozent |
| Bekannte Auffälligkeit | Eine Teilgruppe wird deutlich häufiger fälschlich nicht empfohlen |
| Erklärung | Das System nennt nur den Score, keine fallbezogene Begründung |
| Korrektur | Bisher ist kein festes Widerspruchsverfahren vorgesehen |
Arbeitsauftrag in Rollen
Bearbeitet die Situation in Gruppen. Eine Person übernimmt die Perspektive der Schulleitung, eine die der Lernenden, eine die der Schulsozialarbeit und eine die der Datenschutz- oder Ethikperspektive.
- Kontextanalyse: Beschreibt, welche Folgen eine falsche Empfehlung für eine Schülerin oder einen Schüler haben kann.
- Datenprüfung: Markiert mindestens zwei Datenmerkmale, die missverstanden werden könnten. Ein Beispiel: Viele freiwillige Onlineübungen können hohen Lernwillen oder großen Unterstützungsbedarf bedeuten.
- Fehleranalyse: Entscheidet, ob False Positives oder False Negatives hier schwerer wiegen, und begründet.
- Fairnessprüfung: Formuliert mindestens eine zusätzliche Kennzahl oder Information, die Ihr benötigt, bevor Ihr entscheidet.
- Verantwortung: Legt fest, wer den Score sehen darf, wer ihn korrigieren darf und wie ein Widerspruch funktionieren soll.
- Urteil: Wählt „einsetzen“, „nur verändert einsetzen“ oder „nicht einsetzen“ und nennt mindestens drei Belege.
Entscheidungsmatrix
| Kriterium | spricht eher für Einsatz | spricht eher gegen Einsatz | Bedingung |
|---|---|---|---|
| Nutzen | Frühere Unterstützung kann möglich werden | Falsche Empfehlungen können Chancen verzerren | Wirkung nach Einführung überprüfen |
| Datenqualität | Mehrere schulische Datenquellen vorhanden | Gründe hinter Daten fehlen | Daten erklären und fehlende Kontexte ergänzen |
| Fairness | einheitliche Berechnung | Gruppenfehler unterscheiden sich | getrennte Fehlerquoten prüfen |
| Transparenz | klarer Score | keine fallbezogene Begründung | verständliche Begründung und Dokumentation |
| Human Agency | Menschen können Entscheidung unterstützen | Automationsgläubigkeit möglich | Empfehlung darf nicht allein entscheiden |
| Rechte | Verfahren kann standardisiert werden | kein Widerspruch vorgesehen | Widerspruch und Korrektur verbindlich einbauen |
Selbstkontrolle statt Musterlösung
Prüfe Dein Urteil selbst. Ein starkes Urteil erfüllt möglichst viele der folgenden Merkmale: Du nennst den Zweck des Systems. Du verwendest mindestens einen konkreten Beleg aus dem Dossier. Du unterscheidest Nutzen und Risiko. Du benennst mindestens eine Fehlerart. Du beachtest die Perspektive der Betroffenen. Du machst deutlich, welche Information noch fehlt. Du formulierst Bedingungen für einen vertretbaren Einsatz oder erklärst nachvollziehbar, warum ein Einsatz nicht vertretbar ist.
Wichtig: Bei komplexen Entscheidungssystemen gibt es nicht immer nur eine einzig richtige Schlussfolgerung. Entscheidend ist, ob Dein Urteil nachvollziehbar, evidenzbasiert und offen für Gegenargumente ist.
Quellenkritik: Welche Belege zählen?
Nicht jede Aussage über ein KI-System ist gleich aussagekräftig. Eine Werbeaussage wie „Unser System ist objektiv“ ist noch kein Beleg. Ein guter Prüfprozess trennt Behauptungen von überprüfbaren Informationen.
| Quelle | mögliche Stärke | mögliche Schwäche |
|---|---|---|
| Anbieterbeschreibung | erklärt Zweck und Funktionen | wirtschaftliches Eigeninteresse |
| technischer Testbericht | enthält Kennzahlen und Testbedingungen | kann soziale Folgen übersehen |
| unabhängiges Audit | prüft systematisch und vergleichend | Qualität hängt von Zugang und Methode ab |
| Bericht von Betroffenen | zeigt reale Auswirkungen | einzelner Fall beweist noch kein allgemeines Muster |
| wissenschaftliche Studie | methodisch nachvollziehbare Analyse | kann auf andere Kontexte nur begrenzt übertragbar sein |
Eine verantwortliche Entscheidung kombiniert mehrere Quellen. Frage immer: Wer sagt das? Auf welcher Datengrundlage? Unter welchen Bedingungen? Welche Informationen fehlen?
Risikoabwägung
Für die Bewertung hilft eine einfache Risikomatrix. Zwei Fragen sind besonders wichtig: Wie groß kann der Schaden sein? und Wie wahrscheinlich oder schwer erkennbar ist ein Fehler?
| Situation | Tragweite | sinnvolle Kontrolle |
|---|---|---|
| Spamfilter | meist niedrig bis mittel | Spamordner einsehbar, Nachrichten wiederherstellbar |
| Lernempfehlung | mittel | Empfehlung erklären, Lehrkraft und Lernende einbeziehen |
| Zeugnisnote | hoch | keine alleinige Entscheidung durch undurchsichtiges System; nachvollziehbare fachliche Bewertung |
| Zugang zu Bildung oder Beruf | sehr hoch | strenge Prüfung, Dokumentation, Fairnessanalyse, menschliche Aufsicht und Widerspruchsmöglichkeiten |
Rechtliche Orientierung in Europa
Recht ersetzt keine ethische Prüfung, setzt aber wichtige Grenzen. Nach Artikel 22 der Datenschutz-Grundverordnung besteht grundsätzlich ein Recht, nicht einer ausschließlich automatisierten Entscheidung unterworfen zu werden, wenn diese rechtliche Wirkung entfaltet oder eine Person ähnlich erheblich beeinträchtigt; es gibt gesetzlich geregelte Ausnahmen und Schutzvorkehrungen.
Der EU AI Act verfolgt einen risikobasierten Ansatz. Bestimmte KI-Systeme im Bildungsbereich gelten als Hochrisiko, wenn sie zum Beispiel Zugang, Zulassung, Zuordnung oder wesentliche Bildungsentscheidungen beeinflussen. Nach der im Jahr 2026 geänderten Zeitplanung gelten die Hochrisiko-Pflichten für entsprechende Systeme aus Anhang III ab 2. Dezember 2027. Zu diesen Pflichten gehören unter anderem Risikomanagement, geeignete Datenqualität, Dokumentation, Nachvollziehbarkeit und wirksame menschliche Aufsicht. Bestimmte Transparenzpflichten für KI-Systeme gelten bereits seit 2. August 2026.
Merke: „Rechtlich erlaubt“ bedeutet nicht automatisch „pädagogisch sinnvoll“ oder „fair“. Umgekehrt können ethische Bedenken früher sichtbar werden, als ein Gesetz einen konkreten Fall regelt.
Vertiefungsmedien
Das deutschsprachige Video der Antidiskriminierungsstelle des Bundes zeigt, wie algorithmische Systeme bei Arbeit, Wohnen, Krediten und anderen Lebensbereichen diskriminierende Wirkungen entfalten können. Nutze das Video für die Frage: Welche Rechte und Kontrollmöglichkeiten brauchen Betroffene?
Cathy O’Neil diskutiert in diesem englischsprachigen Vortrag, warum große Datenmengen und mathematische Modelle nicht automatisch faire Entscheidungen erzeugen. Prüfe beim Ansehen insbesondere die Fragen: Was ist das Ziel des Modells? Wie werden Fehler gemessen? Welche langfristigen Rückkopplungen entstehen?
Reflexion und Transfer
Formuliere zum Abschluss ein Drei-Satz-Urteil zu einem automatisierten System, das Du aus Schule oder Alltag kennst.
- Beobachtung: „Das System beeinflusst …“
- Prüfkriterium: „Besonders wichtig ist …, weil …“
- Urteil: „Ich halte den Einsatz für …, wenn …“
Ergänze einen vierten Satz: „Meine Meinung würde sich ändern, wenn ich folgenden neuen Beleg erhielte: …“ Dieser Satz zeigt, ob Dein Urteil wirklich auf überprüfbaren Gründen beruht.
Interaktive Aufgaben
Quiz: Teste Dein Wissen
Eine Schule nutzt einen Score nur als Hinweis für ein Fördergespräch. Welche Bedingung stärkt Human Agency am meisten? (Lehrkräfte und Lernende können den Vorschlag prüfen begründen und korrigieren) (!Der Score wird automatisch in die Schülerakte übernommen) (!Nur der Anbieter kennt die verwendeten Merkmale) (!Der höchste Score entscheidet immer allein)
Ein System hat insgesamt 90 Prozent Genauigkeit. Welche zusätzliche Frage ist für eine Fairnessprüfung besonders wichtig? (Ob sich Fehlerarten und Fehlerquoten zwischen relevanten Gruppen unterscheiden) (!Ob der Computer schnell genug rechnet) (!Ob das Logo des Anbieters modern wirkt) (!Ob alle Ergebnisse auf ganze Zahlen gerundet werden)
Welche Aussage beschreibt einen Proxy im Kontext automatisierter Entscheidungen am besten? (Ein scheinbar neutrales Merkmal kann indirekt Informationen über andere Merkmale tragen) (!Ein Proxy ist immer ein absichtlich gefälschter Datensatz) (!Ein Proxy ist nur ein anderer Name für einen Computer) (!Ein Proxy verhindert grundsätzlich jede Diskriminierung)
Bei einer Förderplatzvergabe werden tatsächlich unterstützungsbedürftige Lernende abgelehnt. Welche Fehlerart liegt vor? (False Negative) (!True Positive) (!True Negative) (!False Positive)
Warum kann ein historischer Datensatz problematisch sein? (Er kann frühere Ungleichheiten und veraltete Bedingungen als Muster enthalten) (!Historische Daten können grundsätzlich nicht gespeichert werden) (!Alte Daten enthalten niemals Zahlen) (!Ein Modell ignoriert historische Daten automatisch)
Welche Aussage zu Transparenz ist am überzeugendsten? (Transparenz hilft nur dann wirklich wenn Betroffene Informationen verstehen und zur Prüfung nutzen können) (!Transparenz bedeutet dass jeder den gesamten Programmcode lesen muss) (!Transparenz macht Fehler unmöglich) (!Ein einzelner Score ist bereits eine vollständige Erklärung)
Ein System empfiehlt immer wieder ähnliche Inhalte und nutzt Reaktionen darauf als neue Trainingsdaten. Welches Risiko entsteht? (Eine Rückkopplung kann bestehende Muster verstärken) (!Das System kann danach keine Daten mehr speichern) (!Jede Empfehlung wird dadurch automatisch fair) (!Der Schwellenwert verschwindet aus dem System)
Welche Aussage zu menschlicher Kontrolle trifft am besten zu? (Menschliche Aufsicht braucht Zeit Informationen Kompetenz und echte Entscheidungsmacht) (!Ein Mensch muss nur formal auf einen Knopf klicken) (!Menschliche Kontrolle ist bei wichtigen Entscheidungen immer überflüssig) (!Menschen können automatisierten Empfehlungen grundsätzlich nicht widersprechen)
Ein Anbieter behauptet sein System sei objektiv. Welche Reaktion ist am sinnvollsten? (Nach Zweck Daten Testbedingungen Fehlerquoten und unabhängigen Belegen fragen) (!Die Behauptung akzeptieren weil Computer rechnen) (!Nur die Geschwindigkeit des Systems prüfen) (!Die Entscheidung vom Preis der Software abhängig machen)
Wann ist eine automatisierte Entscheidung besonders sorgfältig zu prüfen? (Wenn Fehler erhebliche Folgen für Rechte Chancen Sicherheit oder Teilhabe haben) (!Wenn die Benutzeroberfläche schlicht gestaltet ist) (!Wenn die Berechnung weniger als eine Sekunde dauert) (!Wenn das System keine Bilder verwendet)
Memory
| Trainingsdaten | Beispiele aus denen ein lernendes System Muster ableitet |
| Schwellenwert | Grenze ab der aus einem Score eine Handlung wird |
| False Negative | Berechtigter oder geeigneter Fall wird übersehen |
| Proxy-Merkmal | Ersatzmerkmal mit möglicher indirekter Aussage über andere Eigenschaften |
| Automation Bias | Zu starkes Vertrauen in automatische Empfehlungen |
| Human Agency | Fähigkeit von Menschen Ziele zu setzen zu prüfen und zu entscheiden |
| Rückkopplung | Folgen einer Entscheidung werden zu neuen Eingangsdaten |
| Audit | Systematische unabhängige Prüfung eines Systems |
Drag and Drop
| Ordne die richtigen Begriffe zu. | Thema |
|---|---|
| Trainingsdaten | Lernbasis eines Modells |
| Schwellenwert | Grenze für eine Handlung |
| False Negative | Übersehener positiver Fall |
| Proxy-Merkmal | Indirektes Ersatzmerkmal |
| Human Oversight | Wirksame menschliche Aufsicht |
...
Kreuzworträtsel
| Algorithmus | Wie heißt eine eindeutige Folge von Regeln oder Verarbeitungsschritten? |
| Transparenz | Wie nennt man die Nachvollziehbarkeit eines Systems und seiner Entscheidungen? |
| Datenbasis | Wie heißt die Grundlage aus gesammelten Informationen für eine Auswertung? |
| Schwellenwert | Wie heißt die Grenze ab der ein Score eine Handlung auslöst? |
| Fairness | Welcher Begriff bezeichnet die Frage nach gerechter Behandlung? |
| Rechenschaft | Welcher Begriff bezeichnet die Pflicht Entscheidungen begründen und verantworten zu können? |
LearningApps
Lückentext
Offene Aufgaben
Leicht
- Entscheidungstagebuch: Notiere einen Tag lang drei Situationen in denen Software etwas für Dich sortiert empfiehlt oder bewertet. Beschreibe jeweils welche Entscheidung bei Dir bleibt.
- KRAFT-Plakat: Gestalte ein übersichtliches Plakat zum KRAFT-Check und ergänze zu jedem Buchstaben eine selbst erfundene Prüffrage.
- Fehlerfolgen: Erfinde je ein Beispiel in dem ein False Positive und ein False Negative besonders ärgerlich wären und erkläre warum.
- Quellencheck: Vergleiche eine Werbeaussage zu einem KI-System mit einer unabhängigen Quelle. Markiere Behauptung Beleg und offene Frage.
Standard
- Daten-Audit: Entwirf für ein fiktives Schulmodell eine Liste mit Daten die sinnvoll sein könnten und Daten die Du für problematisch hältst. Begründe jede Auswahl.
- Rollengespräch: Führt ein kurzes Interview zwischen einer betroffenen Schülerin und einer verantwortlichen Person der Schule. Die Schülerin verlangt eine Erklärung und eine Überprüfung der Entscheidung.
- Fairnessvergleich: Erstelle selbst zwei kleine Tabellen mit Fehlerzahlen für zwei Gruppen. Zeige wie dieselbe Gesamtgenauigkeit unterschiedliche Fehlerverteilungen verbergen kann.
- Entscheidungsbrief: Schreibe einen kurzen Brief an eine Schulleitung in dem Du den Einsatz eines automatisierten Systems unter klaren Bedingungen empfiehlst oder ablehnst.
Schwer
- Mini-Audit: Untersuche ein reales automatisiertes Empfehlungssystem anhand öffentlich zugänglicher Informationen. Trenne gesicherte Fakten Vermutungen und fehlende Angaben.
- Fairness-Debatte: Entwickelt zwei unterschiedliche Fairnesskriterien für denselben Fall und zeigt an einem Zahlenbeispiel warum beide zu verschiedenen Urteilen führen können.
- Schulregelung KI: Formuliert eine einseitige Schulregel für automatisierte Entscheidungshilfen mit Anforderungen an Zweck Daten Transparenz menschliche Kontrolle Löschung und Widerspruch.
- Bürgerforum: Simuliert eine öffentliche Anhörung zu einem automatisierten System. Verteilt Rollen an Anbieter Betroffene Schule Datenschutzvertretung und Schülervertretung. Am Ende wird über Bedingungen abgestimmt.
|
|
Lernkontrolle
- Unbekanntes System beurteilen: Ein Programm soll anhand von Anwesenheit Hausaufgaben und Testergebnissen vorhersagen wer eine Prüfung wahrscheinlich nicht besteht. Prüfe den Einsatz vollständig mit dem KRAFT-Check und formuliere ein begründetes Urteil.
- Kennzahlen interpretieren: Zwei Systeme haben dieselbe Gesamtgenauigkeit. System A übersieht in allen Gruppen ähnlich viele berechtigte Fälle. System B macht in einer Gruppe dreimal so viele False Negatives. Entscheide welches System Du bevorzugen würdest und welche zusätzlichen Informationen Du vor einer endgültigen Entscheidung brauchst.
- Anbieterbehauptung prüfen: Ein Anbieter wirbt mit „95 Prozent Trefferquote“. Formuliere mindestens fünf Rückfragen die nötig sind bevor diese Zahl für eine Schulentscheidung relevant wird.
- Widerspruch gestalten: Entwirf ein Verfahren mit dem eine betroffene Person eine automatisierte Entscheidung anfechten kann. Begründe warum jeder Schritt wichtig ist.
- Historische Daten hinterfragen: Ein Bewerbungsmodell wurde auf erfolgreichen Einstellungen der letzten zehn Jahre trainiert. Erkläre wie historische Ungleichheiten in das Modell gelangen könnten und schlage mindestens zwei Gegenmaßnahmen vor.
- Systemgrenze erkennen: Ein Algorithmus liefert faire Scores doch Mitarbeitende übernehmen nur die positiven Empfehlungen für Personen die sie ohnehin bevorzugen. Erkläre warum eine reine Modellprüfung das Problem nicht entdeckt und welche Systemebene zusätzlich untersucht werden muss.
Lernnachweis
Für einen guten Lernnachweis zu diesem Thema ist wichtig, dass Du nicht nur Begriffe kennst, sondern eine Entscheidung nachvollziehbar bewerten kannst.
- Du beschreibst Zweck und Tragweite eines automatisierten Systems.
- Du unterscheidest Daten Modell Score Schwellenwert Handlung und Folgen.
- Du prüfst Daten auf Repräsentativität Aktualität Messqualität Proxys und Lücken.
- Du interpretierst einfache Fehlerzahlen und vergleichst Fehlerarten.
- Du unterscheidest Genauigkeit von Fairness.
- Du beziehst Transparenz Widerspruch und menschliche Kontrolle ein.
- Du benennst Betroffene Verantwortliche und mögliche Interessenkonflikte.
- Du nutzt konkrete Belege und kennzeichnest fehlende Informationen.
- Du wägest Nutzen Risiken und Alternativen ab.
- Du formulierst ein begründetes Urteil und nennst Bedingungen unter denen Du es ändern würdest.
OERs zum Thema
Frei zugängliche Quellen und Vertiefung
- UNESCO: AI competency framework for students – menschenzentrierte KI-Kompetenz, Ethik, kritisches Urteil und verantwortliche Gestaltung.
- EUR-Lex: Datenschutz-Grundverordnung – insbesondere Artikel 22 zu automatisierten Entscheidungen im Einzelfall.
- EUR-Lex: konsolidierter EU AI Act – rechtlicher Rahmen für KI-Systeme in der Europäischen Union.
- Europäische Kommission: Durchsetzung und Zeitplan des AI Act – aktueller Überblick über anwendbare und kommende Pflichten.
- TIB AV-Portal: Automatisierte Entscheidungen und Datendiskriminierung – deutschsprachiges Erklärvideo unter CC BY 4.0.
- Bundeszentrale für politische Bildung: Diskriminierung und KI – gesellschaftliche und politische Perspektive.
- Wikipedia: Algorithmic Bias – Einstieg in systematische Verzerrungen algorithmischer Systeme.
- Wikipedia: Explainable Artificial Intelligence – Hintergrund zu Erklärbarkeit und Nachvollziehbarkeit.
Verknüpfte Lernbereiche