Zum Inhalt springen

KI und gesellschaftliche Macht untersuchen

Aus MOOCsWiki Staging
aiMOOC-Siegel

KI und gesellschaftliche Macht untersuchen




KI und gesellschaftliche Macht untersuchen


Einleitung

Künstliche Intelligenz kann Texte erzeugen, Bilder erkennen, Wahrscheinlichkeiten berechnen, Empfehlungen sortieren oder Menschen bei Entscheidungen unterstützen. Gesellschaftlich bedeutsam wird KI jedoch nicht nur durch ihre technische Leistungsfähigkeit, sondern dadurch, wer Ziele festlegt, wer Daten besitzt, wer Systeme einsetzen darf, wer von Entscheidungen betroffen ist und wer Fehler korrigieren kann. Genau hier entsteht Macht.

In diesem aiMOOC untersuchst Du KI deshalb als Teil eines soziotechnischen Systems: Technik, Daten, Menschen, Organisationen, Regeln und Interessen wirken zusammen. Du lernst, nicht nur zu fragen „Ist die KI genau?“, sondern auch: „Für wen? In welchem Kontext? Mit welchen Folgen? Wer kann widersprechen? Wer trägt Verantwortung?“

Der Kurs ist für die Klasse 9 konzipiert und lässt sich in etwa 1–2 Unterrichtsstunden bearbeiten. Er verbindet besonders Informatik, Deutsch, Mathematik, Technik, Wirtschaft, Geschichte, Ethik und Gemeinschaftskunde.

Leitfrage: Wie können wir KI-Systeme so beurteilen, dass menschliche Handlungsmacht, Grundrechte, Fairness, Sicherheit und Verantwortung erhalten bleiben?


Lernziele

Nach dem Kurs kannst Du:

  1. soziotechnische Systeme als Zusammenspiel von Daten, Modellen, Menschen, Institutionen und Regeln beschreiben.
  2. Machtpunkte in einer KI-Entscheidungskette erkennen und erklären, wer jeweils Einfluss besitzt.
  3. Datensätze und KI-Ergebnisse mit einfachen mathematischen Kennzahlen auf Fehler und mögliche Ungleichbehandlung prüfen.
  4. zwischen technischer Genauigkeit, Fairness, Datenschutz, Transparenz, Sicherheit, Effizienz und menschlicher Kontrolle abwägen.
  5. die Perspektiven mehrerer Stakeholder vergleichen und Zielkonflikte nachvollziehbar darstellen.
  6. eine begründete Entscheidung zu einem KI-Einsatz treffen, Bedingungen formulieren und eine Einspruchsmöglichkeit vorsehen.
  7. Ergebnisse von KI als überprüfbare Vorschläge statt als automatische Wahrheit behandeln.
  8. das Gelernte auf eine neue Situation übertragen und Deine Entscheidung mit Kriterien und Belegen begründen.


Zeitplan für 1–2 Unterrichtsstunden

Phase Richtzeit Schwerpunkt
Aktivierung und Diagnose 5–10 Minuten Wer entscheidet eigentlich?
Einführung und Systemanalyse 15–20 Minuten Daten, Modell, Schwelle, Mensch, Folgen
Mathematische Fairnessanalyse 10–15 Minuten Fehlerraten und Gruppenvergleich
Realistische Fallentscheidung 20–30 Minuten Prüfungsüberwachung mit mehreren Stakeholdern
Reflexion und Transfer 10–20 Minuten Human Agency, Grundrechte und neue Situation

Für eine 45-Minuten-Stunde kannst Du die vertiefenden Medien als Hausaufgabe nutzen. Für 90 Minuten bearbeitet die Lerngruppe zusätzlich die Fallanalyse und den Transfer vollständig.


Aktivierung und Diagnose: Wo steckt Macht?

Lies die vier Situationen. Entscheide zunächst allein und begründe dann zu zweit, wer hier besonders viel Einfluss auf die Situation besitzt.

Situation Diagnosefrage
Ein Video-Feed entscheidet, welche Beiträge Du zuerst siehst. Wer beeinflusst, was sichtbar wird?
Eine Schule nutzt Software, die bei einer digitalen Prüfung „verdächtiges Verhalten“ markiert. Wer entscheidet, ob ein Verdacht zu einer Konsequenz führt?
Ein Unternehmen lässt Bewerbungen von einem KI-System vorsortieren. Wer bestimmt, welche Eigenschaften als „passend“ gelten?
Ein Sprachmodell formuliert eine überzeugende Antwort mit erfundenen Quellen. Wer trägt Verantwortung dafür, ob die Antwort übernommen wird?

Kurzdiagnose: Notiere zu einer Situation je einen Satz zu Datenmacht, Entscheidungsmacht und Kontrollmacht. Vergleiche anschließend: Liegt die Macht bei „der KI“ oder bei Menschen und Institutionen, die Ziele, Daten, Regeln und Einsatzbedingungen festlegen?


KI als soziotechnisches System


Vom Input zur gesellschaftlichen Folge

Ein KI-System verarbeitet Eingaben und erzeugt Ausgaben. Bei maschinellem Lernen werden Regeln nicht vollständig von Hand programmiert, sondern aus Daten abgeleitet. Ein Modell kann zum Beispiel aus Merkmalen eine Wahrscheinlichkeit berechnen. Doch eine Wahrscheinlichkeit allein trifft noch keine gesellschaftliche Entscheidung.

Eine typische Entscheidungskette sieht so aus:

Problemdefinition → Datenerhebung → Merkmalsauswahl → Modell → Score oder Empfehlung → Schwellenwert → menschliche oder institutionelle Entscheidung → Folgen → Rückmeldedaten

An jeder Stelle werden Entscheidungen getroffen. Schon die Frage, was vorhergesagt werden soll, ist eine Wertentscheidung. Ebenso ist es eine Wertentscheidung, ob ein Fehler eher zugunsten von Sicherheit, Freiheit, Kostenersparnis oder Gleichbehandlung vermieden werden soll.


Machtpunkte in der Entscheidungskette

Machtpunkt Leitfrage Mögliches Risiko
Problemdefinition Wer entscheidet, welches Problem mit KI gelöst werden soll? Ein technisches System wird eingesetzt, obwohl das Problem organisatorisch oder sozial gelöst werden könnte.
Daten Wer darf Daten sammeln, kombinieren und speichern? Bestimmte Gruppen fehlen oder werden durch ungeeignete Merkmale verzerrt dargestellt.
Modell Wer wählt Zielgröße, Trainingsverfahren und Optimierung? Das Modell optimiert eine messbare Kennzahl, die nicht dasselbe ist wie das eigentliche Ziel.
Schwellenwert Ab welchem Score folgt eine Warnung oder Auswahl? Mehr Treffer können zugleich mehr Fehlalarme erzeugen.
Interface Welche Informationen sieht die entscheidende Person? Ein hoher Score wirkt objektiver, als er tatsächlich ist.
Institution Wer darf die Empfehlung in eine reale Konsequenz übersetzen? Betroffene haben wenig Einfluss oder keine Einspruchsmöglichkeit.
Kontrolle Wer kann stoppen, korrigieren, prüfen und Rechenschaft verlangen? Verantwortung wird diffus: „Das System hat entschieden.“

Merksatz: KI verschiebt Macht häufig nicht deshalb, weil ein Computer „herrscht“, sondern weil technische Systeme bestimmte Entscheidungen skalieren, beschleunigen, standardisieren und schwerer durchschaubar machen können.


Infrastruktur- und Wirtschaftsmacht

KI benötigt Daten, Rechenleistung, Energie, Hardware, Fachwissen und oft große technische Infrastrukturen. Wer über diese Ressourcen verfügt, kann stärker mitbestimmen, welche Systeme entwickelt werden, welche Standards gelten und wer Zugang erhält.

Aus Sicht der Wirtschaft entstehen Zielkonflikte: Automatisierung kann Kosten senken und Produktivität steigern. Gleichzeitig stellt sich die Frage, wie Gewinne, Risiken, neue Aufgaben und mögliche Arbeitsplatzveränderungen verteilt werden. Aus Sicht der Technik muss zusätzlich betrachtet werden, welche Hardware, Sensoren, Netze und Sicherheitsmaßnahmen nötig sind und welche Ressourcen der Betrieb verbraucht.

Analysefrage: Ist ein technisch leistungsfähiges System automatisch gesellschaftlich wünschenswert? Begründe mit mindestens zwei Kriterien, die nicht nur die Genauigkeit betreffen.


Daten, Modelle und Verzerrungen untersuchen


Warum Daten nie einfach „neutral“ sind

Daten entstehen in bestimmten Situationen. Sie spiegeln Messentscheidungen, Kategorien, historische Bedingungen und Auswahlprozesse wider. Ein Datensatz kann zum Beispiel Menschen ausschließen, weil sie seltener erfasst wurden. Ein Merkmal kann außerdem nur ein Proxy sein: Es steht stellvertretend für etwas, das eigentlich gemeint ist.

Beispiel: Die Zahl der Logins auf einer Lernplattform ist nicht dasselbe wie „Lernbereitschaft“. Sie kann auch durch Internetzugang, Geräteverfügbarkeit, Krankheit, Betreuungspflichten oder die Art des Unterrichts beeinflusst werden.

Mögliche Verzerrungen entstehen unter anderem durch:

  1. Stichprobenverzerrung: Bestimmte Gruppen oder Situationen sind im Datensatz zu selten vertreten.
  2. Messfehler: Ein Merkmal misst das Gemeinte nur ungenau.
  3. Label: Die Zielmarkierung beruht auf früheren menschlichen Entscheidungen, die selbst fehlerhaft sein können.
  4. Proxy: Ein scheinbar neutrales Merkmal hängt indirekt mit sozialen Bedingungen zusammen.
  5. Zielfunktion: Das System optimiert etwa möglichst viele Treffer, berücksichtigt aber die Kosten von Fehlalarmen nicht ausreichend.
  6. Feedbackschleife: Frühere Entscheidungen erzeugen neue Daten, die das bestehende Muster weiter verstärken.


Zwei Algorithmen können verschiedene Werte verkörpern

Ein System kann je nach Zielsetzung anders reagieren. Ein sehr empfindlicher Filter findet mehr problematische Fälle, produziert aber oft auch mehr Fehlalarme. Ein zurückhaltender Filter schützt vor Fehlalarmen, übersieht aber möglicherweise mehr echte Fälle. Deshalb ist eine technische Einstellung häufig zugleich eine Werteabwägung.

Frage für Ethik und Mathematik: Welcher Fehler ist in einer Situation schwerwiegender — eine tatsächlich problematische Handlung zu übersehen oder eine unschuldige Person fälschlich zu verdächtigen? Die Antwort hängt vom Kontext ab. Gerade deshalb sollte sie nicht versteckt im System bleiben.


Mathematische Werkzeuge: Fehlerraten statt Bauchgefühl

Für eine binäre Entscheidung gibt es vier wichtige Fälle:

Wirklichkeit System meldet positiv System meldet negativ
Ereignis liegt vor Richtig positiv Falsch negativ
Ereignis liegt nicht vor Falsch positiv Richtig negativ

Wichtige Kennzahlen:

  1. Trefferquote unter den tatsächlichen Fällen: richtig positive Fälle geteilt durch alle tatsächlichen positiven Fälle.
  2. Falsch-Positiv-Rate: falsch positive Fälle geteilt durch alle tatsächlich negativen Fälle.
  3. Präzision einer Warnung: richtig positive Warnungen geteilt durch alle Warnungen.
  4. Gesamtgenauigkeit: alle richtigen Entscheidungen geteilt durch alle Fälle.

Achtung: Eine hohe Gesamtgenauigkeit kann täuschen, wenn das gesuchte Ereignis selten ist. Ein System kann insgesamt oft richtig liegen und trotzdem viele Menschen fälschlich verdächtigen.


Gesellschaftliche Macht durch Sichtbarkeit und Information


Empfehlungssysteme, Aufmerksamkeit und Auswahl

Empfehlungssysteme sortieren große Mengen von Inhalten. Das kann nützlich sein, weil niemand alles lesen oder sehen kann. Zugleich beeinflusst die Sortierung, welche Themen Aufmerksamkeit erhalten und welche Perspektiven uns seltener begegnen.

Die Vorstellung einer vollständig abgeschlossenen „Filterblase“ ist als allgemeine Erklärung zu einfach. Menschen nutzen mehrere Medien, suchen selbst und begegnen auch unerwarteten Inhalten. Trotzdem ist die Frage nach Auswahlmacht wichtig: Welche Ziele optimiert ein Feed — zum Beispiel Verweildauer, Relevanz, Aktualität oder Vielfalt? Welche Inhalte werden dadurch bevorzugt?

Quellenkritik zum Video: Der Vortrag ist älter und eignet sich vor allem als Denkanstoß. Prüfe bei Beispielen immer, ob sie heute noch stimmen. Trenne eine anschauliche These von aktuellem empirischem Beleg.


Gesichtserkennung als Beispiel für Macht und Grundrechte

Gesichtserkennung zeigt besonders deutlich, dass technische Genauigkeit und gesellschaftliche Legitimität unterschiedliche Fragen sind. Selbst ein technisch gutes System kann problematisch sein, wenn es ohne ausreichenden Zweck, ohne Verhältnismäßigkeit oder ohne wirksame Kontrolle eingesetzt wird.

Beobachtungsauftrag: Notiere beim Video jeweils ein Beispiel für ein Datenproblem, ein Leistungsproblem und eine Machtfrage. Formuliere anschließend eine Kontrollmaßnahme, die nicht nur die technische Genauigkeit erhöht, sondern auch Betroffene schützt.


Grundrechte, Werte und Verantwortung


Rechte als Grenze und Orientierung

Bei KI-Entscheidungen können mehrere Rechte und Werte gleichzeitig wichtig sein. Für die Bewertung eines Systems solltest Du deshalb nicht nur nach Nutzen und Effizienz fragen.

Wert oder Recht Prüffrage
Menschenwürde Wird eine Person auf einen Score reduziert oder respektvoll als eigenständige Person behandelt?
Gleichheit und Nichtdiskriminierung Entstehen systematische Nachteile für bestimmte Gruppen?
Privatsphäre und Datenschutz Sind die Daten wirklich notwendig, und wissen Betroffene, was damit geschieht?
Meinungsfreiheit und Informationsfreiheit Werden Perspektiven unsichtbar gemacht oder Menschen manipulativ gelenkt?
Recht auf Bildung Beeinflusst das System Zugang, Bewertung oder Lernchancen?
Sicherheit Welche Schäden könnten durch Fehler, Missbrauch oder Angriffe entstehen?
Transparenz Können Betroffene verstehen, dass KI eingesetzt wird und welche Rolle sie spielt?
Verantwortung Ist klar, welche Person oder Institution für Folgen einstehen muss?

Die UNESCO-Empfehlung zur Ethik Künstlicher Intelligenz stellt Menschenrechte und Menschenwürde in den Mittelpunkt und betont unter anderem Fairness, Transparenz, Datenschutz, Sicherheit und menschliche Aufsicht.

Datei:ZG 2025 Unesco-Empfehlung zur Ethik der Künstlichen Intelligenz - Hausmann.webm


EU AI Act: risikobasierte Regeln

Der AI Act der Europäischen Union ordnet KI-Anwendungen nach Risiken und sieht je nach Einsatz unterschiedliche Pflichten vor. Besonders relevant für Schulen: Bestimmte KI-Systeme im Bildungsbereich gelten als Hochrisiko-Anwendungen, wenn sie zum Beispiel Zugang zu Bildung wesentlich beeinflussen, Lernergebnisse bewerten oder verbotenes Verhalten bei Prüfungen überwachen und erkennen.

Nach dem Stand September 2026 gelten Verbote bestimmter besonders schädlicher KI-Praktiken bereits, ebenso wesentliche Transparenzregeln. Die speziellen Regeln für viele Hochrisiko-Anwendungen in sensiblen Bereichen wie Bildung sollen nach der aktuellen EU-Umsetzungsplanung ab 2. Dezember 2027 gelten. Für eine konkrete rechtliche Entscheidung müssen immer der aktuelle Gesetzestext und zuständige Stellen geprüft werden.

Offizielle Quellen zum Nachprüfen:

  1. EUR-Lex: Verordnung EU 2024/1689
  2. Europäische Kommission: Navigation im AI Act
  3. UNESCO: Recommendation on the Ethics of Artificial Intelligence

Quellenkritischer Auftrag: Das Video stammt aus dem Jahr 2024. Vergleiche seine Aussagen zum Zeitplan mit der aktuellen Seite der Europäischen Kommission. Markiere, was weiterhin stimmt und was durch spätere Änderungen aktualisiert werden muss. So lernst Du, dass auch ein gutes Erklärvideo keine dauerhaft aktuelle Rechtsquelle ist.


Human Agency und menschliche Kontrolle


Was Human Agency bedeutet

Human Agency bedeutet, dass Menschen handlungsfähig bleiben: Sie sollen Ziele mitbestimmen, Informationen verstehen, Alternativen erkennen, Entscheidungen hinterfragen, widersprechen und Verantwortung übernehmen können. Ein Mensch, der nur automatisch auf „Bestätigen“ klickt, ist noch keine wirksame menschliche Kontrolle.

Eine gute menschliche Aufsicht braucht mindestens:

  1. ausreichende Information über Zweck, Grenzen und typische Fehler des Systems.
  2. echte Befugnis, eine Empfehlung abzulehnen oder den Einsatz zu stoppen.
  3. genug Zeit und Kompetenz für eine eigene Prüfung.
  4. dokumentierte Gründe für wichtige Entscheidungen.
  5. eine Möglichkeit für Betroffene, Fehler zu melden oder Entscheidungen anzufechten.
  6. regelmäßige Prüfung, ob das System in der Praxis andere Folgen hat als geplant.


Automation Bias vermeiden

Menschen neigen manchmal dazu, einer technischen Empfehlung zu stark zu vertrauen, besonders wenn sie mit Zahlen oder Wahrscheinlichkeiten präsentiert wird. Dieses Phänomen wird oft als Automation Bias bezeichnet.

Ein wirksamer Kontrollprozess sollte deshalb nicht nur fragen: „Hat die Person die KI-Ausgabe gesehen?“, sondern: „Konnte sie die Ausgabe kritisch prüfen, hatte sie andere Informationen und durfte sie widersprechen?“

Datei:Ethics of AI in Digital Medicine – Explanation why transparent explainable AI is important.webm

Transferfrage zum Video: Welche Anforderungen an Erklärbarkeit in einem medizinischen Entscheidungssystem lassen sich auf eine Schule übertragen, und welche nicht? Begründe.


Fächerübergreifende Perspektiven


Acht Fächer – acht Blickwinkel auf dieselbe Entscheidung

Fach Leitfrage Möglicher Beitrag
Informatik Wie entstehen Daten, Modell, Score und Fehler? Systemgrenzen, Trainingsdaten, Robustheit, Erklärbarkeit
Deutsch Wie werden KI-Entscheidungen sprachlich begründet und Quellen geprüft? Argumentationsanalyse, Framing, Quellenkritik, verständliche Begründungen
Mathematik Welche Kennzahlen zeigen Leistung und Ungleichbehandlung? Prozentrechnung, Vierfeldertafel, Fehlerraten, Basisraten
Technik Welche Sensoren, Geräte, Netze und Sicherheitsmaßnahmen sind beteiligt? Funktionsketten, Ausfallsicherheit, Ressourcen, Mensch-Maschine-Schnittstelle
Wirtschaft Wer trägt Kosten, wer erhält Nutzen und wer kontrolliert Infrastruktur? Anreize, Marktstellung, Automatisierung, Verteilung
Geschichte Welche älteren Formen von Statistik, Verwaltung und Automatisierung verteilten bereits Macht? Kontinuität und Wandel, historische Vergleiche, Institutionen
Ethik Welche Werte geraten in Konflikt? Gerechtigkeit, Autonomie, Verantwortung, Verhältnismäßigkeit
Gemeinschaftskunde Wer setzt Regeln und wie können Betroffene beteiligt werden? Grundrechte, Demokratie, Regulierung, Interessen und Beteiligung


Historischer Blick: Was ist neu, was nicht?

Gesellschaften nutzen schon lange Statistiken, Prüfungen, Akten, Rankings und Verwaltungskategorien, um Entscheidungen zu ordnen. KI setzt diese Geschichte nicht einfach fort, sondern verändert sie durch Geschwindigkeit, Umfang, Vernetzung, Vorhersage und Automatisierung. Der historische Vergleich verhindert zwei Fehler: KI ist weder völlig beispiellos noch bloß „alte Statistik mit neuem Namen“.

Geschichtsauftrag: Vergleiche eine historische Form bürokratischer Klassifikation mit einem heutigen KI-Scoring. Untersuche jeweils Datenbasis, Entscheidungsweg, Einspruchsmöglichkeiten und gesellschaftliche Folgen.


Quellenkritik bei KI und über KI


Ein KI-Output ist keine Quelle

Ein Sprachmodell kann wahre, falsche oder erfundene Aussagen in ähnlich überzeugender Form erzeugen. Nutze deshalb eine einfache Prüfkette:

Behauptung → Originalquelle suchen → Aktualität prüfen → Interessen und Kontext prüfen → zweite unabhängige Quelle vergleichen → Unsicherheit benennen

Bei rechtlichen Fragen sind aktuelle Gesetzestexte und offizielle Erläuterungen wichtiger als ein älteres Erklärvideo. Bei wissenschaftlichen Behauptungen sind nachvollziehbare Studien und Daten wichtiger als virale Einzelbeispiele. Bei KI-generierten Inhalten solltest Du außerdem prüfen, ob Quellen überhaupt existieren.


Quellen-Ampel

Stufe Typ Umgang
Grün Primärquelle, offizieller Gesetzestext, Datensatz mit Methodik, wissenschaftliche Originalarbeit Genau lesen, Kontext und Grenzen prüfen
Gelb seriöser Überblick, Qualitätsmedium, Lehrvideo, Enzyklopädie gut zur Orientierung, wichtige Aussagen zur Primärquelle zurückverfolgen
Rot anonyme Behauptung, unbelegter Post, nicht auffindbare Quelle, KI-Ausgabe ohne Beleg nicht als Beweis übernehmen

Wichtig: „Grün“ bedeutet nicht „unkritisch glauben“. Auch Primärquellen können unvollständig, interessengeleitet oder schwer interpretierbar sein. Die Ampel beschreibt die Art der Quelle, nicht automatisch ihre Wahrheit.


Realistische Anwendungssituation: PrüfKI an einer Schule


Ausgangslage

Eine fiktive Schule plant für digitale Prüfungen ein KI-System namens PrüfKI. Es wertet Kamerabild, Blickrichtung, Bewegungsmuster und Geräusche aus. Das System vergibt einen Verdachtsscore. Ab einem festgelegten Schwellenwert wird eine Prüfung markiert.

Die Schulleitung verspricht sich weniger Täuschungsversuche und weniger Beobachtungsaufwand. Schülerinnen und Schüler befürchten falsche Verdächtigungen und Eingriffe in ihre Privatsphäre. Lehrkräfte wollen faire Prüfungen, möchten aber nicht jede Minute Video nachkontrollieren. Der Anbieter verweist auf gute Gesamtgenauigkeit, veröffentlicht jedoch nicht alle Details seines Modells.

Wichtig: Die folgenden Pilotdaten sind für diesen Kurs erfunden. Sie dienen dazu, eine realistische Entscheidungssituation mathematisch und ethisch zu analysieren.


Stakeholder und Zielkonflikte

Stakeholder Berechtigtes Interesse Möglicher Konflikt
Schülerinnen und Schüler faire Bewertung, Privatsphäre, verständliche Begründung, Einspruch Fehlalarme können Vertrauen und Bildungschancen beeinträchtigen
Lehrkräfte Prüfungsintegrität, handhabbare Verfahren menschliche Nachprüfung kostet Zeit
Schulleitung verlässliche Organisation, rechtssicheres und akzeptiertes Verfahren Effizienz darf Verantwortung nicht ersetzen
Eltern und Erziehungsberechtigte Schutz, Fairness, nachvollziehbare Regeln unterschiedliche Erwartungen an Überwachung und Sicherheit
Datenschutzbeauftragte Datenminimierung und rechtskonforme Verarbeitung mehr Daten können technisch nützlich wirken, aber rechtlich und ethisch problematisch sein
Anbieter funktionierendes Produkt, Schutz legitimer Geschäftsinteressen zu wenig Transparenz erschwert unabhängige Prüfung
Schülervertretung Beteiligung und Schutz der Betroffenen Entscheidungen können ohne echte Mitwirkung getroffen werden


Pilotdaten

Die Schule testet das System mit 200 Prüfungen. In beiden Gruppen gab es nach sorgfältiger menschlicher Nachprüfung jeweils 10 tatsächliche Regelverstöße.

Gruppe Tatsächliche Verstöße Tatsächlich ohne Verstoß Richtig positiv Falsch positiv Falsch negativ Richtig negativ
A: stabile Kamera- und Raumbedingungen 10 90 8 4 2 86
B: häufig wechselnde oder technisch ungünstige Bedingungen 10 90 8 22 2 68


Mathematische Analyse

Berechne für beide Gruppen:

  1. die Trefferquote unter den tatsächlichen Verstößen.
  2. die Falsch-Positiv-Rate.
  3. die Präzision der Warnungen.
  4. die Gesamtgenauigkeit für alle 200 Fälle.

Hinweis zur Kontrolle: In beiden Gruppen erkennt das System 8 von 10 tatsächlichen Verstößen. Der große Unterschied liegt bei den Fehlalarmen. Frage deshalb nicht nur „Wie genau ist das System?“, sondern auch „Welche Art von Fehler trifft wen?“

Diskutiere danach: Könnten technisch ungünstige Bedingungen mit sozialen oder wirtschaftlichen Unterschieden zusammenhängen? Du darfst das nicht einfach behaupten. Formuliere stattdessen, welche zusätzlichen Daten oder Untersuchungen nötig wären, um diese Vermutung zu prüfen.


Systembewertung mit fünf Ebenen

Ebene Prüffragen
Zweck Ist KI überhaupt notwendig? Gibt es weniger eingriffsintensive Alternativen?
Daten Welche Daten sind notwendig? Welche sind nur bequem? Wie lange werden sie gespeichert?
Modell Welche Fehlerraten treten auf? Unterscheiden sie sich nach relevanten Bedingungen oder Gruppen?
Entscheidung Führt ein Score direkt zu einer Sanktion oder nur zu einer überprüfbaren Warnung?
Kontrolle Wer darf überstimmen, stoppen, auditieren und Beschwerden bearbeiten?


Vier mögliche Entscheidungen

Option Beschreibung Zentrale Abwägung
A Vollautomatischer Einsatz; hohe Scores führen direkt zu Konsequenzen. hohe Effizienz, aber geringe menschliche Kontrolle und hohes Risiko bei Fehlalarmen
B KI markiert nur Auffälligkeiten; jede Konsequenz erfordert unabhängige menschliche Prüfung und dokumentierte Begründung. mehr Aufwand, aber stärkere Kontrolle
C Kein KI-Einsatz; konventionelle Prüfungsaufsicht wird verbessert. weniger Automatisierung, dafür andere Personal- und Organisationskosten
D Befristeter, enger Pilot ohne Sanktionen; nur mit Datenminimierung, Transparenz, freiwilliger Evaluation und vorher festgelegten Abbruchkriterien. Lerngewinn über das System, aber Pilot selbst muss fair und datenschutzgerecht gestaltet sein

Deine Aufgabe: Wähle nicht einfach die „modernste“ oder „sicherste“ Option. Formuliere ein Urteil nach dem Schema:

Entscheidung → wichtigste Gründe → betroffene Rechte und Werte → stärkstes Gegenargument → Schutzmaßnahmen → Restunsicherheit → Bedingung für Neubewertung

Es gibt nicht nur eine vertretbare Antwort. Bewertet wird, ob Dein Urteil nachvollziehbar, datengestützt und verantwortungsvoll ist.


Risikoabwägung und Verantwortung


Risiko ist mehr als Fehlerwahrscheinlichkeit

Ein Risiko hängt mindestens von drei Fragen ab:

  1. Wie wahrscheinlich ist ein Fehler oder Missbrauch?
  2. Wie schwer wäre der mögliche Schaden?
  3. Wie gut kann der Schaden erkannt, korrigiert oder rückgängig gemacht werden?

Ein seltener Fehler kann besonders wichtig sein, wenn er große Folgen hat. Umgekehrt kann ein häufiges kleines Problem relevant werden, wenn es sehr viele Menschen betrifft.


Verantwortungsmatrix

Aufgabe Wer sollte verantwortlich sein? Warum?
Zweck festlegen Schule oder zuständige öffentliche Stelle gesellschaftliche Ziele dürfen nicht an einen Anbieter delegiert werden
System entwickeln Anbieter und Entwicklungsteam technische Qualität, Dokumentation und bekannte Grenzen
Einsatz freigeben zuständige Institution Kontext und Grundrechte müssen berücksichtigt werden
Einzelfall entscheiden befugte menschliche Person individuelle Umstände und Widerspruch müssen möglich bleiben
Wirkung prüfen unabhängige oder institutionell getrennte Kontrolle Interessenkonflikte reduzieren und reale Folgen beobachten

Verantwortung darf nicht verschwinden, nur weil viele Akteure beteiligt sind. Gerade komplexe Systeme brauchen klare Zuständigkeiten.


Interaktive Aufgaben


Quiz: Teste Dein Wissen

Eine Schule nutzt die Zahl der Plattform-Logins als Maß für Lernbereitschaft. Welches Problem solltest Du zuerst prüfen? (Ob die Loginzahl nur ein Proxy ist und durch andere Bedingungen beeinflusst wird) (!Ob das Diagramm eine ansprechende Farbe hat) (!Ob die Daten alphabetisch sortiert sind) (!Ob alle Schülerinnen und Schüler denselben Browser verwenden)




Welche Maßnahme stärkt Human Agency am deutlichsten? (Eine KI-Empfehlung kann verstanden, begründet widersprochen und von einer befugten Person überstimmt werden) (!Jede KI-Ausgabe wird automatisch übernommen) (!Nur der Hersteller darf Fehler melden) (!Die Betroffenen erfahren erst nach der Entscheidung vom KI-Einsatz)




Warum kann eine hohe Gesamtgenauigkeit bei seltenen Ereignissen irreführend sein? (Weil trotz vieler richtiger Fälle unter den Warnungen zahlreiche Fehlalarme sein können) (!Weil Prozentwerte grundsätzlich unbrauchbar sind) (!Weil genaue Systeme niemals Fehlalarme erzeugen) (!Weil nur die Zahl der Datensätze zählt)




Was ist bei einem Unterschied der Falsch-Positiv-Raten zwischen zwei Gruppen die beste erste Reaktion? (Ursachen prüfen, Datenqualität untersuchen und mögliche unfaire Folgen bewerten) (!Den Unterschied ignorieren, wenn die Gesamtgenauigkeit hoch ist) (!Die Gruppe mit mehr Fehlalarmen aus der Analyse entfernen) (!Automatisch annehmen, dass absichtliche Diskriminierung vorliegt)




Welche Aussage beschreibt gesellschaftliche Macht bei KI am besten? (Macht entsteht auch durch Zielsetzung, Datenzugang, Einsatzentscheidung und Kontrollmöglichkeiten) (!Macht liegt ausschließlich im Quellcode) (!Nur die Person mit dem schnellsten Computer besitzt Macht) (!KI-Systeme handeln unabhängig von Institutionen und Regeln)




Was ist ein sinnvoller Zweck menschlicher Aufsicht? (Risiken erkennen, Empfehlungen hinterfragen und bei Bedarf eingreifen oder stoppen) (!Jede Entscheidung nachträglich nur abzeichnen) (!Alle Verantwortung an das Modell übertragen) (!Möglichst wenig über Systemgrenzen wissen)




Welche Vorgehensweise entspricht Datenminimierung? (Nur Daten erheben, die für einen legitimen Zweck tatsächlich notwendig sind) (!Möglichst alle verfügbaren Daten dauerhaft speichern) (!Daten sammeln, bevor der Zweck feststeht) (!Persönliche Daten vorsorglich an mehrere Stellen weitergeben)




Welche Aussage zur Filterblase ist am angemessensten? (Personalisierung kann Sichtbarkeit beeinflussen, aber eine vollständig abgeschlossene Informationsblase ist keine automatische Folge) (!Jeder personalisierte Feed zeigt ausschließlich eine einzige Meinung) (!Empfehlungssysteme haben keinerlei Einfluss auf Aufmerksamkeit) (!Eine Filterblase lässt sich nur an der Bildschirmgröße erkennen)




Wann ist eine KI-Entscheidung besonders verantwortungsvoll gestaltet? (Wenn Zweck, Fehlerfolgen, Rechte, menschliche Kontrolle und Einspruchsmöglichkeiten gemeinsam berücksichtigt werden) (!Wenn nur die Rechengeschwindigkeit maximiert wird) (!Wenn Betroffene keine Informationen erhalten) (!Wenn ein hoher Score automatisch als Wahrheit gilt)




Was ist beim Transfer auf einen neuen KI-Fall am wichtigsten? (Die Entscheidung anhand transparenter Kriterien neu begründen statt eine frühere Lösung einfach zu kopieren) (!Immer dieselbe Lösung wählen wie im ersten Beispiel) (!Nur auf die Meinung des Anbieters vertrauen) (!Zielkonflikte vermeiden, indem man sie nicht erwähnt)





Memory

Human Agency informierte Handlungsmöglichkeit
Proxy Stellvertretermerkmal
Falsch positiv unbegründeter Alarm
Menschliche Aufsicht wirksames Eingreifen
Transparenz nachvollziehbare Information
Stakeholder betroffene Interessengruppe
Datenminimierung notwendige Datennutzung
Feedbackschleife Folgen werden neue Eingaben





Drag and Drop

Ordne die richtigen Begriffe zu. Thema
Repräsentativität Datenerhebung
Fehlerkosten Modellbewertung
Überstimmen Menschliche Aufsicht
Einspruch Betroffenenrechte
Wirkungskontrolle Evaluation





Kreuzworträtsel

Fairness Wie heißt das Prinzip, nach dem vergleichbare Personen nicht willkürlich ungleich behandelt werden sollen?
Transparenz Wie nennt man nachvollziehbare Information über Zweck und Funktionsweise eines Systems?
Datenschutz Welcher Begriff bezeichnet den Schutz personenbezogener Informationen vor unzulässiger Verarbeitung?
Aufsicht Wie heißt die menschliche Kontrolle, die wirksam eingreifen können muss?
Algorithmus Wie nennt man eine eindeutige Folge von Verarbeitungsschritten?
Verantwortung Welcher Begriff beschreibt die Pflicht, für Entscheidungen und Folgen einzustehen?





LearningApps


Lückentext

Vervollständige den Text.
KI ist Teil eines

und wirkt nicht unabhängig von Menschen und Institutionen. Ein Merkmal, das nur stellvertretend für etwas anderes steht, heißt

. Eine fälschliche Warnung bei einem tatsächlich unauffälligen Fall nennt man

. Hohe Gesamtgenauigkeit kann bei seltenen Ereignissen viele

verdecken. Wirksame menschliche Kontrolle braucht echte

. Das Prinzip, nur notwendige Daten zu verarbeiten, heißt

. Die Möglichkeit, Entscheidungen zu hinterfragen und selbstbestimmt zu handeln, gehört zur

. Bei einer verantwortlichen Entscheidung müssen Nutzen, Risiken und

gemeinsam betrachtet werden. Eine KI-Ausgabe ohne überprüfbare Belege ist keine verlässliche

. Ein gutes Urteil benennt neben Gründen auch Unsicherheit und ein starkes

.




Offene Aufgaben


Leicht

  1. Systemkarte: Zeichne für eine alltägliche KI-Anwendung die Kette Problem → Daten → Modell → Ausgabe → Mensch → Folge. Markiere mindestens zwei Machtpunkte.
  2. Quellencheck: Nimm eine Behauptung über KI aus einem Video oder Post. Suche die ursprüngliche Quelle und bewerte Aktualität, Autorenschaft und Belege.
  3. Medienanalyse: Untersuche das Bild zur Filterblase. Erkläre, welche Idee es gut sichtbar macht und welche Vereinfachung es möglicherweise erzeugt.
  4. Stakeholder-Karten: Erstelle vier Karten für Lernende, Lehrkräfte, Anbieter und Datenschutzbeauftragte. Notiere je ein Interesse, ein Risiko und eine gewünschte Schutzmaßnahme.


Standard

  1. Fehlerraten vergleichen: Berechne im PrüfKI-Fall Falsch-Positiv-Rate und Präzision für beide Gruppen. Erkläre, warum die gleiche Trefferquote noch keine gleiche Fairness bedeutet.
  2. Kontrollplan: Entwirf einen Ablauf, in dem eine KI-Warnung niemals automatisch zu einer Sanktion führt. Lege fest, wer prüft, welche Belege nötig sind und wie Einspruch funktioniert.
  3. Debatte: Führt eine strukturierte Anhörung zur PrüfKI durch. Jede Gruppe vertritt einen Stakeholder und muss mindestens ein Gegenargument der anderen Seite fair wiedergeben.
  4. Mini-Audit: Prüfe eine bekannte KI-Anwendung mit den fünf Ebenen Zweck, Daten, Modell, Entscheidung und Kontrolle. Formuliere drei offene Fragen, die vor einem Einsatz geklärt werden müssten.


Schwer

  1. Regelwerk entwerfen: Verfasse eine einseitige Schulregel für verantwortlichen KI-Einsatz. Begründe, wann KI erlaubt, eingeschränkt oder ausgeschlossen sein sollte.
  2. Historischer Vergleich: Vergleiche eine ältere Form institutioneller Klassifikation oder Statistik mit einem heutigen KI-Scoring. Arbeite Kontinuitäten und Unterschiede in Macht, Tempo, Reichweite und Einspruch heraus.
  3. Fairness-Test planen: Entwirf einen Test, mit dem sich prüfen lässt, ob ein System bestimmte Gruppen oder technische Bedingungen systematisch benachteiligt. Definiere Daten, Kennzahlen und Abbruchkriterien.
  4. Transferentscheidung: Erstelle einen kurzen Podcast, ein Video oder eine schriftliche Stellungnahme zu einem neuen KI-Fall. Deine Entscheidung muss Kriterien, Stakeholder, Datenrisiken, Grundrechte, Gegenargumente und menschliche Kontrolle enthalten.




Text bearbeiten Bild einfügen Video einbetten Interaktive Aufgaben erstellen



Lernkontrolle

  1. Kontextvergleich: Ein KI-System mit derselben Fehlerrate soll einmal Musik empfehlen und einmal Bewerbungen für Ausbildungsplätze vorsortieren. Erkläre, warum dieselbe technische Leistung gesellschaftlich unterschiedlich bewertet werden muss.
  2. Zielkonfliktanalyse: Eine Schule will maximale Prüfungsintegrität und minimale Datenerhebung. Entwickle zwei mögliche Kompromisse und bewerte ihre Vor- und Nachteile.
  3. Fairness und Basisraten: Erkläre anhand eines selbst gewählten Zahlenbeispiels, warum Gesamtgenauigkeit allein keine ausreichende Fairnessbewertung ist.
  4. Human Oversight: Formuliere drei Bedingungen, unter denen menschliche Kontrolle wirklich wirksam ist, und ein Gegenbeispiel für bloßes „Abnicken“.
  5. Grundrechtsabwägung: Wähle zwei Rechte oder Werte, die in einem KI-Fall miteinander in Spannung geraten können. Entwickle eine begründete Regel, wie der Konflikt bearbeitet werden sollte.
  6. Transferfall Ausbildungsfilter: Ein regionaler Ausbildungsverbund möchte eine KI einsetzen, die Bewerbungen nach „Erfolgschance“ sortiert. Die Trainingsdaten stammen aus früheren Einstellungsentscheidungen. Entscheide, ob und unter welchen Bedingungen das System eingesetzt werden dürfte. Deine Begründung muss mindestens folgende Punkte enthalten: Zweck, Datenqualität, mögliche Proxys, Fehlerraten, Stakeholder, Grundrechte, Einspruch, menschliche Kontrolle, stärkstes Gegenargument und Restunsicherheit.


Reflexion und Transfer

Beantworte zum Abschluss ohne Hilfsmittel drei Sätze:

  1. Vor dem Kurs dachte ich über KI-Entscheidungen …
  2. Jetzt prüfe ich zusätzlich …
  3. Wenn eine KI-Entscheidung mich oder andere betrifft, würde ich …

Transferregel: Übernimm nie automatisch die Lösung aus einem alten Fall. Übernimm stattdessen die Prüffragen: Wer setzt das Ziel? Welche Daten werden genutzt? Welche Fehler sind möglich? Wer trägt die Folgen? Welche Rechte sind berührt? Wer kann widersprechen? Wer darf stoppen? Welche Alternative gibt es?




Lernnachweis

Für einen Lernnachweis zu diesem Thema ist wichtig, dass Du nicht nur Begriffe kennst, sondern ein begründetes Urteil bilden kannst. Zeige deshalb:

  1. dass Du eine KI-Anwendung als soziotechnische Entscheidungskette darstellen kannst.
  2. dass Du Datenqualität, Proxys, Fehlerraten und mögliche Verzerrungen prüfen kannst.
  3. dass Du mindestens zwei Stakeholder mit unterschiedlichen Interessen fair darstellst.
  4. dass Du technische Leistung von gesellschaftlicher Legitimität unterscheiden kannst.
  5. dass Du Grundrechte und Werte in die Abwägung einbeziehst.
  6. dass Du konkrete Maßnahmen für Transparenz, Datenminimierung, Sicherheit und menschliche Kontrolle vorschlägst.
  7. dass Du ein starkes Gegenargument zu Deiner eigenen Position benennen und beantworten kannst.
  8. dass Du Unsicherheiten offenlegst und Kriterien für eine spätere Neubewertung formulierst.
  9. dass Du Dein Vorgehen auf einen neuen Fall übertragen kannst, ohne eine Musterlösung nur zu kopieren.




OERs zum Thema

Wikipedia als Einstieg:

Weitere offene oder öffentlich zugängliche Quellen:

  1. Wikimedia Commons: Artificial intelligence
  2. Wikimedia Commons: Artificial intelligence risks
  3. UNESCO: Recommendation on the Ethics of Artificial Intelligence
  4. EUR-Lex: AI Act
  5. Europäische Kommission: Regulierungsrahmen für KI

Medienhinweis: Die eingebundenen Wikimedia-Commons-Dateien führen auf ihren Dateiseiten Angaben zu Urheber, Quelle und Lizenz. Prüfe diese Angaben, wenn Du Medien außerhalb des Unterrichts weiterverwenden möchtest.


Verknüpfte Lernbereiche


aiMOOC-Projekte

MOOCwiki · Deutsch

Nach dem Lernen ist vor dem Lernen

Entdecke direkt den nächsten Lernkurs. Weitere Inhalte erscheinen, wenn Du weiter nach unten scrollst.

Zur MOOCwiki-Hauptseite
Inhalte werden geladen ...

Mediathek wird aus dem Wiki geladen ...