Diesen aiMOOC als Battle spielen: Deutsch, Klasse 9-10, G-Niveau

Stakeholder eines KI-Systems analysieren

Zielgruppe: Klasse 9 Zeitbedarf: ca. 45–90 Minuten Schwerpunkte: Künstliche Intelligenz, Stakeholder, Datenkompetenz, Algorithmische Verzerrung, Technikfolgenabschätzung, Ethik, Verantwortung, Medienbildung Leitfrage: Wie kannst Du ein KI-System so untersuchen, dass nicht nur seine Technik, sondern auch betroffene Menschen, Interessen, Daten, Risiken, Machtverhältnisse und gesellschaftliche Folgen sichtbar werden?

Einleitung

Ein KI-System ist nie nur ein Programm. Es verfolgt einen Zweck, nutzt Daten, verarbeitet sie mit einem Modell, zeigt Ergebnisse über eine Oberfläche, wird von Menschen entwickelt und eingesetzt, benötigt technische Infrastruktur und kann reale Folgen auslösen. Deshalb ist ein KI-System ein sozio-technisches System: Technik und Gesellschaft wirken darin zusammen.

Wenn eine Schule beispielsweise ein KI-gestütztes System verwenden möchte, das Schülerinnen und Schüler mit möglichem Unterstützungsbedarf erkennt, entstehen sofort Fragen: Wer profitiert? Wer könnte benachteiligt werden? Wer bestimmt den Zweck? Welche Daten sind geeignet? Wer darf eine Empfehlung überstimmen? Wer trägt Verantwortung bei Fehlern? Welche Belege braucht die Schule, bevor sie das System einsetzt?

Eine Stakeholderanalyse hilft Dir, solche Fragen geordnet zu untersuchen. Stakeholder sind Personen, Gruppen oder Organisationen, die ein System beeinflussen, über Entscheidungen dazu verfügen oder von seinen Folgen betroffen sind. Besonders wichtig ist: Menschen mit wenig Entscheidungsmacht können trotzdem sehr stark betroffen sein. Eine gute Analyse betrachtet deshalb nicht nur Einfluss, sondern auch Betroffenheit, Rechte, Interessen, Risiken und Verantwortung.

Am Ende dieses Lernkurses sollst Du nicht bloß sagen können, ob Du ein KI-System „gut“ oder „schlecht“ findest. Du sollst ein begründetes Urteil formulieren, bei dem Du Kriterien nennst, Belege heranziehst, Zielkonflikte erklärst und verantwortbare Bedingungen für den Einsatz vorschlägst.

Das Video der Antidiskriminierungsstelle des Bundes zeigt, warum automatisierte Entscheidungen auch Benachteiligungen erzeugen können. Beobachte beim Ansehen besonders, wer von einem System betroffen ist und wer Möglichkeiten hat, eine Entscheidung zu hinterfragen.

Lernziele

Bereich	Das kannst Du am Ende
Systemverständnis	Du zerlegst ein KI-System in Zweck, Daten, Modell, Oberfläche, Menschen, Infrastruktur und Folgen.
Stakeholderanalyse	Du identifizierst direkte und indirekte Stakeholder und unterscheidest Interessen, Einfluss, Betroffenheit und Verantwortung.
Daten- und Modellbewertung	Du prüfst Datenquellen, Messfehler, Repräsentativität sowie einfache Kennzahlen wie Trefferquote, Präzision und Trefferquote bei tatsächlich positiven Fällen.
Risikoabwägung	Du vergleichst Nutzen und mögliche Schäden und beachtest sowohl häufige kleine als auch seltene schwerwiegende Folgen.
Quellenkritik	Du unterscheidest Werbeaussagen, technische Dokumentation, unabhängige Tests, Erfahrungsberichte und rechtliche Vorgaben.
Urteil	Du begründest eine Entscheidung mit Kriterien, Belegen, Unsicherheiten und Schutzmaßnahmen.

Vorschlag für 1–2 Unterrichtsstunden

Phase	ca. Zeit	Tätigkeit
Aktivierung	5–8 min	Kurze Diagnose: Wer entscheidet, wer ist betroffen, welche Daten fehlen?
Einführung	10–15 min	KI als sozio-technisches System und Begriff Stakeholder verstehen.
Analyse	15–25 min	Systemkarte und Stakeholderkarte zum Fallbeispiel erstellen.
Datencheck	10–15 min	Fehlerarten, Kennzahlen und mögliche ungleiche Auswirkungen auswerten.
Urteil	10–20 min	Kriterien anwenden, Belege gewichten, Schutzmaßnahmen formulieren und Entscheidung begründen.
Reflexion	5–10 min	Eigene Rolle, Human Agency und Transfer auf ein anderes KI-System.

Für eine einzelne 45-Minuten-Stunde kannst Du die Abschnitte Aktivierung, Systemkarte, Fallanalyse und Kurzurteil verwenden. Für 90 Minuten ergänzt Du Datenanalyse, Stakeholderkonflikte, interaktive Aufgaben und Transfer.

Fächerübergreifende Bezüge

Fach	Verbindung zum Thema
Informatik	Datenfluss, Modell, Trainings- und Testdaten, Schnittstellen, Systemgrenzen, Fehlertypen.
Deutsch	Argumentieren, Quellen vergleichen, Interessen sprachlich darstellen, begründetes Urteil verfassen.
Mathematik	Anteile, Prozentrechnung, Vierfeldertafel, Fehlerraten, Interpretation von Kennzahlen.
Technik	Infrastruktur, Sensoren, Endgeräte, Server, Ausfallsicherheit, Wartung und technische Abhängigkeiten.
Wirtschaft	Anbieterinteressen, Kosten, Produktivität, Beschaffung, Wettbewerb und Anreize.
Geschichte	Vergleich mit früheren Formen von Automatisierung, Statistik, Verwaltung und technischer Rationalisierung.
Ethik	Fairness, Autonomie, Verantwortung, Schadensvermeidung, Menschenwürde und Gerechtigkeit.
Gemeinschaftskunde	Grundrechte, Beteiligung, Macht, Rechenschaft, staatliche Regeln und demokratische Kontrolle.

Aktivierung und Diagnose

Stell Dir vor, Deine Schule testet ein System, das aus Noten, Fehlzeiten und Aktivität auf einer Lernplattform berechnet, welche Schülerinnen und Schüler wahrscheinlich zusätzliche Lernunterstützung benötigen. Auf dem Bildschirm erscheint für jede Person eine grüne, gelbe oder rote Empfehlung.

Beantworte zunächst ohne weitere Informationen drei Fragen auf einem Blatt:

Erste Einschätzung: Wer sollte entscheiden dürfen, was nach einer roten Empfehlung passiert?
Fehlende Informationen: Welche Informationen über das System brauchst Du, bevor Du ihm vertraust?
Betroffenheit: Welche Person oder Gruppe könnte besonders stark von einem Fehler betroffen sein?

Vergleiche Deine Antworten später mit Deinem Abschlussurteil. Wenn sich Deine Meinung verändert, ist das kein Problem, sondern ein Zeichen dafür, dass Du neue Belege berücksichtigt hast.

KI als sozio-technisches System

Ein technisches Modell kann nur einen Teil eines KI-Systems erklären. Für eine verantwortliche Bewertung musst Du die gesamte Wirkungskette betrachten.

Das Bild zeigt einen typischen Arbeitsablauf des maschinellen Lernens. Für eine Stakeholderanalyse reicht es aber nicht, beim Modell stehenzubleiben. Entscheidend sind auch Zweck, Nutzungssituation und Folgen.

Sieben Bausteine der Systemanalyse

Baustein	Leitfragen	Beispiel im Schulsystem
Zweck	Welches Problem soll gelöst werden? Wer hat den Zweck festgelegt?	Lernende mit möglichem Unterstützungsbedarf früher erkennen.
Daten	Welche Daten werden erfasst? Woher stammen sie? Was fehlt?	Noten, Abgaben, Fehlzeiten, Aktivität auf einer Lernplattform.
Modell	Welche Muster berechnet das System? Wie wurde es getestet?	Ein Modell schätzt die Wahrscheinlichkeit für Unterstützungsbedarf.
Oberfläche	Wie werden Ergebnisse dargestellt? Erzeugt die Darstellung falsche Sicherheit?	Ampelfarbe und Risikowert.
Menschen	Wer entwickelt, bedient, kontrolliert, entscheidet oder ist betroffen?	Lernende, Lehrkräfte, Eltern, Schulleitung, Entwicklerteam.
Infrastruktur	Wo laufen Berechnungen? Wie werden Daten gespeichert und geschützt?	Schulserver oder Cloud, Endgeräte, Netzwerk, Zugriffsrechte.
Folgen	Was passiert nach dem Ergebnis? Welche Nebenwirkungen sind möglich?	Fördergespräch, zusätzliche Aufgaben, Stigmatisierung oder übersehener Hilfebedarf.

Auch bei der Überwachung eines laufenden Systems müssen mehrere Ebenen beobachtet werden: technische Infrastruktur, Modellverhalten und ausgegebene Ergebnisse. Für die Schule kommt zusätzlich die Ebene der menschlichen Entscheidungen und sozialen Folgen hinzu.

Systemkarte: Nicht nur Input und Output

Eine einfache Systemkarte kann so aussehen:

Zweck	→	Daten	→	Modell	→	Oberfläche	→	menschliche Entscheidung	→	Folge
Lernunterstützung		Noten, Fehlzeiten, Aktivität		Risikoschätzung		Ampelanzeige		Gespräch oder Maßnahme		Hilfe, Belastung oder Fehlentscheidung
↑ Infrastruktur, Regeln, Organisation und Verantwortlichkeiten wirken auf alle Stufen ↑
↺ Folgen erzeugen neue Daten und können zukünftige Entscheidungen beeinflussen

Der letzte Pfeil ist besonders wichtig. Wenn eine Person wegen einer roten Markierung anders behandelt wird, kann diese Behandlung wiederum ihre Leistungen oder ihr Verhalten verändern. Später erscheinen diese Veränderungen erneut in den Daten. Dadurch entstehen Rückkopplungen.

Lebenszyklus statt Momentaufnahme

Ein KI-System verändert sich im Laufe der Zeit: Daten werden ergänzt, Modelle aktualisiert, Nutzungsmuster verändern sich und neue Fehler werden entdeckt. Verantwortliche Bewertung ist deshalb kein einmaliger Test.

Du kannst bei jeder Phase fragen: Welche Belege brauchen wir, wer darf entscheiden und wer muss erneut beteiligt werden?

Was ist ein Stakeholder?

Ein Stakeholder ist eine Person, Gruppe oder Organisation, die ein System beeinflussen kann, Verantwortung trägt oder von seinen Folgen betroffen ist. Eine Person kann mehrere Rollen gleichzeitig haben.

Bei einem KI-System in der Schule gehören dazu zum Beispiel Lernende, Lehrkräfte, Eltern beziehungsweise Erziehungsberechtigte, Schulleitung, Schulträger, Datenschutzbeauftragte, Entwicklerinnen und Entwickler, der Anbieter, technische Administratoren, Aufsichtsbehörden und möglicherweise die Öffentlichkeit.

Eine vollständige Analyse fragt nicht nur: „Wer sitzt am Entscheidungstisch?“ Sie fragt ebenso: „Wer muss mit den Folgen leben, obwohl diese Person kaum Einfluss auf die Gestaltung hatte?“

Stakeholder nicht nur nach Macht sortieren

Klassische Stakeholdermatrizen ordnen Gruppen oft nach Einfluss und Interesse.

Für KI-Systeme ist das hilfreich, aber nicht ausreichend. Ergänze mindestens die Achse Betroffenheit. Eine Gruppe mit wenig Macht kann besonders schutzbedürftig sein. Zum Beispiel können Schülerinnen und Schüler stark betroffen sein, obwohl sie nicht über Beschaffung oder Programmierung entscheiden.

Eine sinnvolle Analyse betrachtet daher gleichzeitig:

Dimension	Leitfrage
Interesse	Was möchte die Person oder Gruppe erreichen oder vermeiden?
Einfluss	Wie stark kann sie Zweck, Daten, Einsatz oder Regeln verändern?
Betroffenheit	Wie stark wirken Fehler oder Nebenfolgen auf sie?
Rechte	Welche Ansprüche auf Information, Datenschutz, Beteiligung oder Widerspruch bestehen?
Wissen	Welche Informationen oder Erfahrungen besitzt diese Gruppe?
Verantwortung	Welche Entscheidungen trifft sie und wofür muss sie Rechenschaft ablegen?

Eine Stakeholderanalyse in sieben Schritten

Schritt 1: Zweck und Systemgrenze klären

Formuliere zuerst den Zweck in einem Satz. Ein unklarer Zweck macht jede spätere Bewertung unscharf. „KI soll Schule verbessern“ ist zu allgemein. „Das System soll Lehrkräfte dabei unterstützen, Unterstützungsbedarf früh zu erkennen“ ist prüfbarer.

Lege danach die Systemgrenze fest. Gehören nur Modell und Datenbank dazu oder auch das Gespräch, das aufgrund der Empfehlung geführt wird? Für eine Folgenanalyse muss die Grenze weit genug sein, damit menschliche Entscheidungen und reale Konsequenzen sichtbar werden.

Schritt 2: Stakeholder sammeln

Beginne mit den Personen, die das System direkt nutzen oder von einer Entscheidung betroffen sind. Suche danach nach weniger sichtbaren Gruppen: Wer liefert Daten? Wer wartet die Technik? Wer finanziert das System? Wer kann Beschwerden bearbeiten? Wer trägt das Risiko bei einem Datenleck? Wer profitiert wirtschaftlich?

Vermeide die Annahme, ein „Nutzer“ sei automatisch der wichtigste Stakeholder. Bei einem Bewertungssystem können diejenigen, über die entschieden wird, stärker betroffen sein als diejenigen, die auf einen Knopf klicken.

Schritt 3: Interessen, Nutzen und mögliche Schäden untersuchen

Dass zwei Stakeholder dasselbe System wollen, bedeutet nicht, dass sie dieselben Ziele verfolgen. Eine Schule kann Zeit sparen wollen, Lehrkräfte können frühere Hinweise wünschen, ein Anbieter kann Umsatz erzielen und Lernende können gerechte Unterstützung erwarten.

Schäden können materiell, sozial, psychologisch oder rechtlich sein. Beispiele sind zusätzlicher Aufwand, Stigmatisierung, Ausschluss, falsche Verdächtigung, Verlust von Privatsphäre oder geringere Selbstbestimmung.

Schritt 4: Macht und Betroffenheit vergleichen

Erstelle eine Matrix mit Einfluss und Betroffenheit. Achte besonders auf die Felder „hohe Betroffenheit, geringer Einfluss“. Dort liegen häufig Stakeholder, deren Perspektive aktiv eingeholt werden sollte.

Schritt 5: Belege sammeln und Qualität prüfen

Ein begründetes Urteil braucht mehr als Behauptungen. Frage bei jeder Aussage: Woher wissen wir das?

Beleg	Stärke	mögliche Schwäche
Technische Dokumentation	Zeigt vorgesehenen Zweck und technische Eigenschaften.	Kann wichtige Grenzen auslassen oder schwer verständlich sein.
Unabhängiger Test	Kann Leistung unter nachvollziehbaren Bedingungen prüfen.	Testbedingungen können vom Schulalltag abweichen.
Nutzungsprotokolle	Zeigen reale Fehler und tatsächliche Nutzung.	Enthalten möglicherweise sensible Daten und brauchen Kontext.
Befragung Betroffener	Macht Erfahrungen und Nebenfolgen sichtbar.	Einzelne Aussagen sind nicht automatisch repräsentativ.
Anbieterwerbung	Zeigt Versprechen und Positionierung.	Hat ein wirtschaftliches Interesse und ist kein neutraler Wirksamkeitsnachweis.
Gesetzliche oder behördliche Quelle	Liefert verbindliche oder offizielle Orientierung.	Muss auf den konkreten Anwendungsfall richtig angewendet werden.

Quellenkritik bedeutet nicht, jeder Quelle zu misstrauen. Sie bedeutet, Zweck, Perspektive, Methode, Aktualität und Grenzen der Quelle zu prüfen.

Schritt 6: Risiken und Schutzmaßnahmen verbinden

Ein Risiko wird nicht dadurch gelöst, dass man es nur benennt. Formuliere immer auch eine mögliche Schutzmaßnahme und prüfe deren Wirksamkeit.

Beispiel: Risiko „Lehrkraft übernimmt rote Markierung ungeprüft“. Schutzmaßnahme „System darf keine automatische Maßnahme auslösen; Lehrkraft muss zusätzliche Belege prüfen; Lernende können die Entscheidung anfechten“.

Schritt 7: Urteil mit Bedingungen formulieren

Ein gutes Urteil kann lauten: „Der Einsatz ist unter bestimmten Bedingungen vertretbar“, „Der Einsatz sollte zunächst nur in einem begrenzten Test erfolgen“ oder „Der Einsatz ist für diesen Zweck nicht vertretbar“. Begründe immer mit Kriterien, Belegen, Unsicherheiten und Schutzmaßnahmen.

Verantwortung in einem KI-System

Verantwortung darf nicht einfach auf „die KI“ verschoben werden. Ein Modell hat keine schulische oder moralische Verantwortung wie ein Mensch. Verantwortung liegt bei Menschen und Organisationen, die Zwecke festlegen, Daten auswählen, Systeme entwickeln, beschaffen, einsetzen, kontrollieren und über Folgen entscheiden.

Eine hilfreiche Trennung ist:

Rolle	Beispiel	Verantwortung
Entscheidungsinstanz	Schulleitung oder Schulträger	Zweck, Beschaffung, Einsatzregeln und Abbruchbedingungen.
Operative Verantwortung	Lehrkräfte und Administration	Richtige Nutzung, Prüfung von Ergebnissen, Dokumentation von Problemen.
Technische Verantwortung	Entwicklerteam oder Anbieter	Modell, Tests, Sicherheit, Fehlerbehebung, Dokumentation.
Unabhängige Kontrolle	Datenschutz, Aufsicht, externe Prüfung	Risiken prüfen, Rechte schützen, Nachweise hinterfragen.
Betroffene	Schülerinnen und Schüler	Müssen nicht die Verantwortung für Systemfehler tragen, benötigen aber Information, Beteiligung und Beschwerdemöglichkeiten.

Human Agency: Menschen müssen handlungsfähig bleiben

Human Agency bedeutet, dass Menschen nicht nur Empfänger automatisierter Ergebnisse sind. Sie müssen verstehen können, dass ein KI-System beteiligt ist, wichtige Ergebnisse prüfen, begründet widersprechen und alternative Wege nutzen können.

Menschliche Kontrolle ist jedoch nur dann sinnvoll, wenn die kontrollierende Person tatsächlich Zeit, Wissen, Befugnisse und Informationen besitzt. Ein Hinweis „Ein Mensch entscheidet am Ende“ reicht nicht, wenn dieser Mensch die KI-Ausgabe fast immer ungeprüft übernimmt.

Prüfe deshalb:

Verstehen: Weiß die verantwortliche Person, was die Ausgabe bedeutet und was sie nicht bedeutet?
Prüfen: Gibt es unabhängige Informationen zur Gegenkontrolle?
Überstimmen: Darf die Person die Empfehlung begründet ablehnen?
Anfechten: Können Betroffene eine Entscheidung hinterfragen?
Stoppen: Gibt es klare Bedingungen, unter denen das System ausgesetzt wird?

Daten und Modell bewerten

Daten wirken neutral, sind aber immer das Ergebnis von Auswahl, Messung und Einordnung. Eine Zahl wie „Aktivität auf der Lernplattform“ misst nicht direkt Motivation, Fähigkeit oder Unterstützungsbedarf. Sie misst zunächst nur registrierte Interaktion mit einer Plattform.

Mögliche Probleme entstehen, wenn Daten unvollständig, veraltet, falsch gemessen oder für einen anderen Zweck erhoben wurden. Auch eine scheinbar harmlose Variable kann indirekt andere Unterschiede abbilden.

Das Video erläutert, wie Verzerrungen in Daten und Modellen zu Benachteiligung beitragen können. Übertrage die Beispiele anschließend auf die Schul-Situation: Welche Daten könnten systematisch bestimmte Lernwege schlechter abbilden?

Fehler sind nicht alle gleich

Bei einem System zur Erkennung von Unterstützungsbedarf gibt es vier Möglichkeiten:

	Unterstützung tatsächlich nötig	Unterstützung tatsächlich nicht nötig
System markiert	Richtig positiv	Falsch positiv
System markiert nicht	Falsch negativ	Richtig negativ

Ein falsch positives Ergebnis kann zu unnötiger Sorge oder Stigmatisierung führen. Ein falsch negatives Ergebnis kann bedeuten, dass eine Person notwendige Unterstützung nicht erhält. Welche Fehlerart schwerer wiegt, ist keine rein technische Frage. Sie hängt vom Zweck, von den Folgen und von Schutzmaßnahmen ab.

Kennzahlen im Fallbeispiel

Das fiktive System wird mit Daten von 100 Schülerinnen und Schülern geprüft.

Ergebnis	Anzahl
Richtig positiv	16
Falsch positiv	8
Falsch negativ	4
Richtig negativ	72

Die Gesamttrefferquote beträgt:

(16 + 72) / 100 = 88 %

Das klingt zunächst gut. Aber die Zahl allein zeigt nicht, welche Fehler auftreten.

Die Präzision der Markierungen beträgt:

16 / (16 + 8) ≈ 66,7 %

Von 24 markierten Personen benötigen also 16 tatsächlich Unterstützung.

Die Erkennungsrate der tatsächlich Unterstützungsbedürftigen beträgt:

16 / (16 + 4) = 80 %

Vier von zwanzig tatsächlich unterstützungsbedürftigen Personen werden übersehen.

Die entscheidende Frage lautet deshalb nicht: „Hat das System 88 % Genauigkeit?“ Sondern: Welche Fehler entstehen, wen treffen sie und welche Folgen haben sie?

Gleiches Gesamtergebnis, ungleiche Wirkung

Nun werden dieselben 100 Fälle nach einem Merkmal der Nutzung betrachtet. Gruppe A nutzt die digitale Lernplattform regelmäßig, Gruppe B selten. Beide Gruppen enthalten jeweils 50 Personen und jeweils zehn Personen mit tatsächlichem Unterstützungsbedarf.

Gruppe	Richtig positiv	Falsch negativ	Falsch positiv	Richtig negativ	Falsch-Positiv-Rate
A: regelmäßige Plattformnutzung	8	2	2	38	2 / 40 = 5 %
B: seltene Plattformnutzung	8	2	6	34	6 / 40 = 15 %

Beide Gruppen haben dieselbe Erkennungsrate für tatsächlichen Unterstützungsbedarf. Trotzdem werden Personen aus Gruppe B dreimal so häufig falsch markiert. Eine mögliche Erklärung könnte sein, dass das System geringe Plattformaktivität zu stark bewertet. Das müsste mit weiteren Belegen geprüft werden.

Fairness ist deshalb nicht eine einzige Zahl. Du musst untersuchen, welche Gruppen verglichen werden, welche Fehler relevant sind und warum Unterschiede entstehen.

Realistische Anwendungssituation: „LernRadar“

LernRadar ist ein fiktives, markenneutrales KI-System. Eine Schule überlegt, es für ein Halbjahr zu testen.

Das System verwendet Noten, verspätete Abgaben, Fehlzeiten und Aktivität auf einer schulischen Lernplattform. Ein Modell berechnet wöchentlich einen Risikowert. Ab einem festgelegten Schwellenwert erscheint eine rote Markierung. Lehrkräfte sollen dann prüfen, ob ein Gespräch oder zusätzliche Lernunterstützung sinnvoll ist.

Der Anbieter verspricht, Lehrkräfte könnten Unterstützungsbedarf früher erkennen. In der internen Testdokumentation wird eine Gesamttrefferquote von 88 % genannt. Eine unabhängige Auswertung entdeckt jedoch Unterschiede zwischen regelmäßig und selten digital arbeitenden Lernenden. Schülerinnen und Schüler wissen bisher nur allgemein, dass „digitale Daten zur Lernbegleitung“ genutzt werden. Ein formales Verfahren zum Widerspruch gegen eine Markierung gibt es noch nicht.

Systemkarte zum Fall

Element	Konkrete Ausprägung	Prüffrage
Zweck	Früher Hinweis auf möglichen Unterstützungsbedarf	Ist das System wirklich nur Unterstützung oder beeinflusst es auch Bewertung und Chancen?
Daten	Noten, Abgaben, Fehlzeiten, Plattformaktivität	Sind alle Daten notwendig, aktuell und für diesen Zweck aussagekräftig?
Modell	Berechnet Risikowert und Schwellenwert	Wie robust ist die Leistung bei unterschiedlichen Lernweisen?
Oberfläche	Ampelfarbe und Risikowert	Erzeugt Rot eine stärkere Sicherheit, als die Daten rechtfertigen?
Menschen	Lernende, Lehrkräfte, Eltern, Schulleitung, Technikteam	Wer darf prüfen, korrigieren, widersprechen und stoppen?
Infrastruktur	Schulnetz, Datenbank, Server oder Cloud	Wer hat Zugriff, wie lange werden Daten gespeichert und was passiert bei Ausfall?
Folgen	Fördergespräch, Zusatzangebot, möglicherweise Stigma	Können Empfehlungen Nachteile erzeugen, auch wenn sie als Hilfe gedacht sind?

Stakeholderkarte zum Fall

Stakeholder	Interesse	Einfluss	Betroffenheit	möglicher Beitrag zur Bewertung
Schülerinnen und Schüler	faire Unterstützung, Privatsphäre, Mitsprache	eher gering bis mittel	sehr hoch	Erfahrungen, Fehlmarkierungen, tatsächliche Folgen
Lehrkräfte	hilfreiche Hinweise, vertretbarer Aufwand	mittel bis hoch	hoch	pädagogischer Kontext, Gegenprüfung
Eltern oder Erziehungsberechtigte	Wohl und Rechte der Kinder	mittel	mittel bis hoch	Rückmeldung, Einwilligungs- und Informationsfragen
Schulleitung	Schulqualität, Organisation, Rechtssicherheit	hoch	hoch	Zweck, Einsatzregeln, Abbruchentscheidung
Schulträger	Kosten, Infrastruktur, Datenschutz	hoch	mittel	Beschaffung, Verträge, technische Rahmenbedingungen
Anbieter	funktionierendes Produkt, Umsatz, Reputation	hoch	mittel	technische Dokumentation und Fehlerbehebung
Datenschutzbeauftragte	Schutz personenbezogener Daten	mittel bis hoch	indirekt	Prüfung von Datenflüssen und Zugriffsregeln
Schulaufsicht	rechtmäßiger und verantwortlicher Einsatz	hoch	indirekt	Kontrolle, Vorgaben, Beschwerdewege

Interessenkonflikte erkennen

Ein System kann gleichzeitig Nutzen und Risiken erzeugen. Typische Zielkonflikte im Beispiel sind:

Ziel A	Ziel B	mögliche Spannung
Früherkennung	Datensparsamkeit	Mehr Daten könnten Hinweise verbessern, erhöhen aber Eingriffe in Privatsphäre.
Automatisierung	individuelle pädagogische Beurteilung	Standardisierte Hinweise sparen Zeit, können aber Kontext verdrängen.
Hohe Erkennungsrate	wenige Fehlmarkierungen	Ein niedriger Schwellenwert findet mehr Fälle, markiert aber eventuell mehr Personen unnötig.
Einheitliche Regeln	Berücksichtigung individueller Lernwege	Gleichbehandlung ist nicht immer dasselbe wie gerechte Behandlung.
Schneller Einsatz	sorgfältige Erprobung	Frühe Nutzung bringt Nutzen schneller, erhöht aber Unsicherheit.

Risikoabwägung

Für eine Risikoabwägung kannst Du vier Fragen kombinieren:

Kriterium	Frage
Wahrscheinlichkeit	Wie wahrscheinlich ist ein Fehler oder Schaden?
Schwere	Wie gravierend wäre die Folge?
Verteilung	Trifft die Folge alle ähnlich oder bestimmte Gruppen besonders?
Reversibilität	Kann eine falsche Entscheidung leicht korrigiert werden?

Eine seltene, aber sehr schwerwiegende und kaum rückgängig zu machende Folge kann wichtiger sein als viele kleine Fehler. Umgekehrt kann auch ein scheinbar kleiner Nachteil problematisch werden, wenn er sehr häufig oder dauerhaft auftritt.

Sicherheits- und Schutzmaßnahmen

Für LernRadar wären beispielsweise folgende Maßnahmen prüfenswert:

Risiko	mögliche Schutzmaßnahme	Beleg für Wirksamkeit
Fehlmarkierung	Keine automatische Maßnahme; zusätzliche pädagogische Prüfung.	Vergleich von Entscheidungen mit und ohne Gegenprüfung.
Übersehen von Unterstützungsbedarf	Weitere Hinweise und direkte Gesprächsmöglichkeiten unabhängig vom System.	Zahl der Fälle, die außerhalb des Systems entdeckt werden.
Ungleiche Wirkung	Gruppenbezogene Fehleranalyse und regelmäßige Nachtests.	dokumentierte Fehlerraten über verschiedene Nutzungsgruppen.
Stigmatisierung	Ergebnis nur für zuständige Personen sichtbar; keine öffentliche Kennzeichnung.	Befragungen und Zugriffsprotokolle.
Datenmissbrauch	Datensparsamkeit, Rollenrechte, Löschfristen und Sicherheitskonzept.	technische Prüfung und dokumentierte Zugriffe.
Automationsgläubigkeit	Schulung, Begründungspflicht und Möglichkeit zum Überstimmen.	Stichproben menschlicher Entscheidungen.

Kriterien für ein begründetes Urteil

Bewerte ein KI-System nicht mit nur einem Kriterium. Nutze mehrere Perspektiven.

Kriterium	Leitfrage	möglicher Beleg
Zweckmäßigkeit	Löst das System ein reales Problem besser oder sinnvoller?	Vergleich mit bisherigen Verfahren.
Datenqualität	Sind Daten passend, vollständig genug und nachvollziehbar erhoben?	Datenbeschreibung, Stichproben, Fehlerraten.
Leistung	Wie zuverlässig funktioniert das System im realen Einsatz?	unabhängige Tests, Vierfeldertafel, Monitoring.
Fairness	Verteilen sich Fehler und Chancen vertretbar?	gruppenbezogene Auswertung und Erfahrungen Betroffener.
Transparenz	Können Beteiligte Zweck, Rolle der KI und Grenzen verstehen?	verständliche Information, Dokumentation.
Sicherheit	Sind Daten, Zugänge und Systembetrieb ausreichend geschützt?	Sicherheitskonzept, Protokolle, Tests.
Human Agency	Können Menschen sinnvoll prüfen, widersprechen und stoppen?	Prozessbeschreibung, Beschwerdeweg, Befugnisse.
Verantwortung	Ist klar, wer für welche Entscheidung Rechenschaft trägt?	Rollenplan, Zuständigkeiten.
Verhältnismäßigkeit	Stehen Eingriff und Risiken in einem angemessenen Verhältnis zum Nutzen?	Abwägung und Vergleich weniger eingreifender Alternativen.

Bewertungsraster

Nutze für jede Dimension eine vierstufige Skala:

Stufe	Bedeutung
0 – nicht belegt	Es fehlen Nachweise oder das Kriterium wird nicht erfüllt.
1 – schwach	Es gibt einzelne Hinweise, aber wichtige Risiken bleiben offen.
2 – teilweise überzeugend	Das Kriterium ist grundsätzlich erfüllt, benötigt aber Verbesserungen.
3 – gut belegt	Es gibt nachvollziehbare Belege, klare Zuständigkeiten und wirksame Schutzmaßnahmen.

Eine Gesamtpunktzahl allein darf Deine Entscheidung nicht ersetzen. Ein System kann beispielsweise bei Komfort und Leistung gut abschneiden, aber wegen eines nicht vertretbaren Grundrechtsrisikos trotzdem ungeeignet sein. K.O.-Kriterien müssen ausdrücklich benannt werden.

Vom Beleg zum Urteil

Ein nachvollziehbares Urteil kann nach dem Muster Behauptung – Beleg – Begründung – Einschränkung – Bedingung aufgebaut sein.

Beispiel: Der sofortige flächendeckende Einsatz von LernRadar ist derzeit nicht ausreichend begründet. Die Gesamttrefferquote von 88 % zeigt zwar, dass das System häufig richtig liegt, aber die deutlich höhere Falsch-Positiv-Rate bei seltenen Plattformnutzenden weist auf eine ungleiche Wirkung hin. Außerdem fehlt ein klarer Widerspruchsweg. Ein begrenzter Test könnte vertretbar sein, wenn die Schule Betroffene transparent informiert, Entscheidungen nicht automatisiert, Fehlerraten getrennt überwacht, einen Beschwerdeweg schafft und vorab klare Abbruchkriterien festlegt.

Dieses Urteil ist stärker als „Ich finde KI riskant“, weil es konkrete Belege und überprüfbare Bedingungen nennt.

Transparenz, Recht und gesellschaftliche Verantwortung

In der Europäischen Union wird KI risikobasiert reguliert. Bestimmte Einsatzfelder in der Bildung können als besonders sensibel gelten, etwa wenn KI zur Bewertung von Lernergebnissen oder zur Steuerung von Lernprozessen eingesetzt wird. Transparenzpflichten für bestimmte KI-Anwendungen gelten seit August 2026. Für bestimmte Hochrisiko-Anwendungen in sensiblen Bereichen gelten nach dem aktuellen europäischen Zeitplan weitere Anforderungen ab Ende 2027.

Für Deine Analyse reicht es nicht, nur zu fragen: „Ist das legal?“ Etwas kann rechtlich zulässig und trotzdem pädagogisch unklug sein. Umgekehrt darf eine gute Absicht rechtliche und ethische Anforderungen nicht ersetzen.

Orientierung, Stand September 2026: KI-Gesetz – Europäische Kommission

Gesellschaftliche Folgen mitdenken

Wenn viele Einrichtungen ähnliche KI-Systeme einsetzen, können sich Einzelwirkungen zu gesellschaftlichen Folgen summieren. Denkbar sind Veränderungen von Bildungsentscheidungen, neue Abhängigkeiten von technischen Anbietern, Verschiebungen von Verantwortung, stärkere Datenerfassung oder neue Erwartungen daran, was als „messbar“ und „normal“ gilt.

Eine Stakeholderanalyse sollte deshalb drei Ebenen unterscheiden:

Ebene	Beispiel
Individuum	Eine Schülerin wird falsch markiert.
Organisation	Lehrkräfte verlassen sich zunehmend auf Ampelfarben.
Gesellschaft	Bildung wird stärker durch datenbasierte Klassifikationen organisiert.

Das Video eignet sich als Vertiefung zur Frage, warum statistische Muster nicht automatisch bedeuten, dass ein System Ursachen versteht. Für Stakeholderentscheidungen ist das wichtig, weil aus einer Korrelation nicht vorschnell eine Erklärung für eine Person werden darf.

Quellen und Medien kritisch nutzen

Für eine fundierte Analyse solltest Du mindestens zwei unterschiedliche Quellentypen kombinieren. Eine Anbieterbeschreibung kann erklären, was das System verspricht. Eine unabhängige Untersuchung kann zeigen, wie es unter bestimmten Bedingungen tatsächlich funktioniert. Betroffene können Folgen sichtbar machen, die in technischen Kennzahlen fehlen. Offizielle Stellen liefern rechtliche oder institutionelle Orientierung.

Prüfe bei digitalen Quellen mindestens Autor oder Institution, Veröffentlichungsdatum, Zweck, Belege, mögliche Interessen und Aktualität. Bei KI-generierten Zusammenfassungen gilt zusätzlich: Nutze sie als Ausgangspunkt, nicht als alleinigen Nachweis. Öffne wichtige Primärquellen selbst.

Die eingebundenen Grafiken stammen aus Wikimedia Commons und sind frei lizenziert beziehungsweise gemeinfrei. Prüfe für Weiterverwendung jeweils die Lizenzangaben auf der Dateiseite.

Interaktive Aufgaben

Quiz: Teste Dein Wissen

Warum wird ein KI-System als sozio-technisches System betrachtet? (Weil technische Komponenten, Menschen, Organisationen und gesellschaftliche Folgen zusammenwirken) (!Weil jedes KI-System einen Roboterkörper besitzt) (!Weil nur soziale Netzwerke künstliche Intelligenz verwenden) (!Weil Daten keine Rolle für KI-Systeme spielen)

Welche Gruppe sollte in einer Stakeholderanalyse besonders beachtet werden? (Eine stark betroffene Gruppe mit geringer Entscheidungsmacht) (!Nur die Gruppe mit dem höchsten Budget) (!Nur das Entwicklerteam) (!Nur Personen mit technischem Fachwissen)

Welche Frage gehört zur Analyse des Zwecks eines KI-Systems? (Welches Problem soll das System für wen lösen) (!Welche Farbe hat das Benutzerkonto) (!Wie viele Buchstaben hat der Produktname) (!Welche Musik hören die Entwickler)

Was zeigt ein falsch positives Ergebnis im LernRadar-Beispiel? (Das System markiert Unterstützungsbedarf obwohl er tatsächlich nicht vorliegt) (!Das System erkennt einen tatsächlichen Unterstützungsbedarf richtig) (!Das System übersieht einen tatsächlichen Unterstützungsbedarf) (!Das System wird ausgeschaltet)

Warum reicht eine Gesamttrefferquote allein nicht für die Bewertung? (Weil sie nicht zeigt welche Fehler auftreten und wen sie treffen) (!Weil Prozentrechnung bei KI grundsätzlich unzulässig ist) (!Weil nur die Anzahl der Datenpunkte zählt) (!Weil ein Modell immer hundert Prozent erreichen muss)

Was ist ein Beispiel für Human Agency? (Betroffene können eine KI-gestützte Entscheidung nachvollziehbar hinterfragen) (!Eine Empfehlung wird automatisch ohne Prüfung umgesetzt) (!Das System entscheidet selbst über seine Verantwortung) (!Menschen dürfen das System niemals überstimmen)

Welcher Beleg ist besonders geeignet um eine Werbeaussage eines Anbieters zu überprüfen? (Ein unabhängiger Test unter nachvollziehbaren Bedingungen) (!Ein Werbeslogan desselben Anbieters) (!Ein einzelnes Symbol in der Oberfläche) (!Der Produktname)

Was ist bei einer Risikoabwägung zusätzlich zur Wahrscheinlichkeit wichtig? (Die Schwere und Verteilung möglicher Folgen) (!Nur die Geschwindigkeit des Computers) (!Nur die Anzahl der Menüpunkte) (!Nur die Größe des Bildschirms)

Warum kann geringe Plattformaktivität als Datensignal problematisch sein? (Weil sie verschiedene Ursachen haben kann und nicht direkt Unterstützungsbedarf misst) (!Weil digitale Aktivität niemals gespeichert werden kann) (!Weil geringe Aktivität immer hohe Leistung bedeutet) (!Weil Modelle ausschließlich mit Bildern arbeiten)

Was kennzeichnet ein gut begründetes Urteil über ein KI-System? (Es verbindet Kriterien Belege Unsicherheiten und Schutzmaßnahmen) (!Es besteht nur aus persönlicher Zustimmung oder Ablehnung) (!Es übernimmt automatisch die Empfehlung des Systems) (!Es verzichtet auf die Perspektive betroffener Personen)

Memory

Stakeholder	Betroffene oder einflussreiche Personengruppe
Zweck	Beabsichtigtes Problem und Ziel des Systems
Datensatz	Grundlage für Training Prüfung oder Betrieb
Modell	Berechnet Muster oder Vorhersagen
Infrastruktur	Technische Umgebung für Speicherung und Betrieb
Fairness	Angemessene Verteilung von Chancen Fehlern und Belastungen
Transparenz	Nachvollziehbare Information über Rolle und Grenzen des Systems
Human Agency	Fähigkeit von Menschen zu prüfen zu widersprechen und zu handeln

Drag and Drop

Ordne die richtigen Begriffe zu.	Thema
Zweck	Frühe Hinweise auf möglichen Lernunterstützungsbedarf
Daten	Noten Fehlzeiten Abgaben und Plattformaktivität
Modell	Berechnung eines Risikowerts
Oberfläche	Darstellung als Ampel und Wert
Folge	Fördergespräch Unterstützung oder mögliche Fehlbehandlung

Kreuzworträtsel

Stakeholder	Wie heißen Personen Gruppen oder Organisationen die ein System beeinflussen oder von ihm betroffen sind?
Transparenz	Welcher Begriff beschreibt nachvollziehbare Information über Zweck Rolle und Grenzen eines Systems?
Datensatz	Wie heißt eine Sammlung von Daten die zum Trainieren Prüfen oder Betreiben eines Modells verwendet wird?
Infrastruktur	Wie heißt die technische Umgebung aus Servern Netzen Speichern und Endgeräten?
Fairness	Welcher Begriff bezeichnet die Frage nach gerechter Verteilung von Chancen Fehlern und Belastungen?
Aufsicht	Wie heißt die kontrollierende Rolle die Regeln und Verantwortlichkeit prüfen kann?

LearningApps

Lückentext

Ein KI-System sollte als

betrachtet werden, weil Technik und gesellschaftliche Bedingungen zusammenwirken. Der beabsichtigte Nutzen eines Systems wird durch seinen

beschrieben. Informationen, auf denen ein Modell arbeitet, heißen

. Personen und Gruppen, die Einfluss haben oder betroffen sind, werden als

bezeichnet. Eine Fehlmarkierung trotz tatsächlich fehlendem Unterstützungsbedarf ist ein

Ergebnis. Ein begründetes Urteil benötigt mehr als eine einzige

. Die gerechte Verteilung von Chancen, Fehlern und Belastungen wird mit dem Begriff

untersucht. Die Möglichkeit, eine automatisierte Empfehlung zu prüfen und zu überstimmen, gehört zur

. Ein guter Nachweis sollte zur Behauptung passen und seine

offenlegen. Am Ende verbindet eine verantwortliche Entscheidung Nutzen, Risiken, Belege und

.

Reflexion und Selbstkontrolle

Beantworte nach der Fallanalyse erneut die drei Fragen aus der Aktivierung. Ergänze diesmal zu jeder Antwort mindestens einen Beleg oder eine offene Unsicherheit.

Prüfe danach Deine eigene Analyse mit vier Kontrollfragen: Habe ich mindestens einen stark betroffenen Stakeholder mit geringer Macht berücksichtigt? Habe ich eine technische Kennzahl nicht mit einem gesellschaftlichen Urteil verwechselt? Habe ich zwischen Behauptung und Beleg unterschieden? Habe ich erklärt, wer handeln muss, wenn etwas schiefgeht?

Offene Aufgaben

Leicht

Stakeholder sammeln: Wähle ein bekanntes KI-System aus Schule oder Alltag und notiere mindestens sechs Stakeholder. Markiere, wer besonders stark betroffen ist und wer besonders viel Einfluss hat.
Systemgrenze zeichnen: Erstelle eine Systemkarte mit Zweck, Daten, Modell, Oberfläche, Menschen, Infrastruktur und Folgen. Zeichne mindestens eine Rückkopplung ein.
Quellencheck: Vergleiche eine Anbieterbeschreibung mit einer unabhängigen oder offiziellen Quelle. Notiere je zwei Aussagen, Belege und mögliche Interessen.
Fehlerfolgen erklären: Formuliere für LernRadar je ein konkretes Beispiel für falsch positiv und falsch negativ und beschreibe die Folgen für die betroffene Person.

Standard

Stakeholdermatrix: Ordne die Stakeholder von LernRadar nach Einfluss und Betroffenheit. Begründe zwei Fälle, in denen geringe Macht trotzdem hohe Aufmerksamkeit verlangt.
Datenkritik: Untersuche die Variable Plattformaktivität. Nenne mindestens vier mögliche Ursachen für geringe Aktivität und erkläre, warum daraus nicht automatisch Unterstützungsbedarf folgt.
Risikoregister: Erstelle eine Tabelle mit mindestens fünf Risiken, Wahrscheinlichkeit, Schwere, betroffenen Stakeholdern, Schutzmaßnahmen und benötigten Belegen.
Debatte zum Pilottest: Führt in Rollen eine Schulkonferenz durch. Vertretet Lernende, Lehrkräfte, Schulleitung, Eltern, Datenschutz und Anbieter. Beschließt Bedingungen für einen möglichen Test.

Schwer

Fairnessanalyse: Nutze die Gruppendaten aus dem Fall. Erkläre, warum gleiche Erkennungsrate nicht automatisch gleiche Fairness bedeutet, und schlage zwei weitere Kennzahlen oder qualitative Belege vor.
Alternativenvergleich: Vergleiche LernRadar mit einer weniger datenintensiven Alternative, zum Beispiel regelmäßigen pädagogischen Kurzgesprächen. Bewerte Nutzen, Kosten, Fairness, Datenschutz und Aufwand.
Governanceplan: Entwirf für die Schule einen Verantwortungsplan mit Rollen für Freigabe, Betrieb, Kontrolle, Beschwerden, Sicherheitsvorfälle, Modelländerungen und Abschaltung.
Begründetes Urteil: Schreibe eine Stellungnahme mit mindestens drei Kriterien, drei Belegen, zwei Unsicherheiten und konkreten Einsatzbedingungen. Schließe mit einer Entscheidung für Einsatz, begrenzten Test oder Verzicht.

Lernkontrolle

Transfer auf Bewerbungs-KI: Ein Betrieb möchte ein KI-System zur Vorauswahl von Praktikumsbewerbungen einsetzen. Erstelle eine System- und Stakeholderkarte und erkläre, welche Risiken im Vergleich zum Schulfall ähnlich und welche neu sind.
Kennzahl bewerten: Ein Anbieter wirbt mit 95 Prozent Genauigkeit. Erkläre, welche zusätzlichen Informationen Du verlangen würdest, bevor diese Zahl als Beleg für einen verantwortbaren Einsatz gelten kann.
Konflikt begründen: Eine Schulleitung möchte möglichst viele Daten nutzen, um Vorhersagen zu verbessern. Formuliere die stärkste Begründung dafür und die stärkste Gegenposition aus Sicht von Datensparsamkeit und Autonomie. Entwickle anschließend einen Kompromiss.
Verantwortungskette: Nach einer falschen KI-Empfehlung entsteht ein Nachteil. Untersuche getrennt die mögliche Verantwortung von Anbieter, Schulleitung, Lehrkraft und technischer Administration. Begründe, warum Verantwortung nicht einfach an das Modell delegiert werden kann.
Schutzmaßnahme prüfen: Die Schule sagt: „Am Ende entscheidet immer ein Mensch.“ Erkläre, warum diese Aussage allein noch keine wirksame menschliche Kontrolle beweist, und formuliere mindestens vier Bedingungen für echte Human Agency.
Urteil unter Unsicherheit: Für ein System fehlen unabhängige Tests, aber der mögliche Nutzen ist hoch. Entwickle eine Entscheidung, die Unsicherheit ausdrücklich berücksichtigt, und definiere Belege sowie Abbruchkriterien für einen begrenzten Test.

Lernnachweis

Für einen überzeugenden Lernnachweis zu diesem Thema ist wichtig, dass Du:

Systemverständnis: Zweck, Daten, Modell, Oberfläche, Menschen, Infrastruktur und Folgen eines KI-Systems unterscheidest und verbindest.
Stakeholderperspektive: direkte und indirekte Stakeholder sowie Unterschiede in Einfluss und Betroffenheit erkennst.
Belegorientierung: Aussagen durch passende Quellen, Daten oder nachvollziehbare Beobachtungen stützt.
Datenbewertung: Kennzahlen interpretierst, Fehlerarten unterscheidest und mögliche Verzerrungen erkennst.
Risikoabwägung: Wahrscheinlichkeit, Schwere, Verteilung und Korrigierbarkeit von Folgen berücksichtigst.
Fairness und Rechte: ungleiche Wirkungen, Transparenz, Datenschutz, Beteiligung und Widerspruchsmöglichkeiten prüfst.
Verantwortung: Zuständigkeiten von Menschen und Organisationen klar benennst.
Urteilsfähigkeit: ein begründetes Urteil mit Kriterien, Belegen, Unsicherheiten und Schutzmaßnahmen formulierst.
Transfer: die Methode auf ein anderes KI-System anwenden kannst.