Diesen aiMOOC als Battle spielen: Deutsch, Klasse 9-10, G-Niveau

KI-Risiken systematisch bewerten

Künstliche Intelligenz kann Texte erzeugen, Bilder erkennen, Prognosen berechnen, Menschen bei Entscheidungen unterstützen oder Abläufe automatisieren. Doch ein technisch beeindruckendes Ergebnis ist nicht automatisch ein gutes, faires oder verantwortbares Ergebnis. In diesem aiMOOC lernst Du deshalb nicht nur, ob ein KI-System funktioniert, sondern für wen, in welchem Zusammenhang, mit welchen Daten, mit welchen Folgen und unter wessen Verantwortung es eingesetzt werden soll.

Der Kurs richtet sich besonders an die Klasse 9 und ist für etwa 1–2 Unterrichtsstunden konzipiert. Du untersuchst KI als soziotechnisches System: Nicht nur ein Modell entscheidet über Chancen und Risiken, sondern das Zusammenspiel von Daten, Software, Menschen, Regeln, Interessen und Institutionen. Ziel ist ein nachvollziehbares Urteil, das sich auf Kriterien und Belege stützt.

Das zentrale Prinzip lautet: Nicht die KI soll Dir die Entscheidung abnehmen. Du sollst lernen, KI-Systeme so zu prüfen, dass menschliche Handlungsfähigkeit, Grundrechte und Verantwortung erhalten bleiben.

Lernziele und Ablauf

Lernziele

Nach dem Kurs kannst Du

Risiken von bloßen Gefahren, Fehlern und Unsicherheiten unterscheiden.
den Zweck eines KI-Systems und die betroffenen Stakeholder bestimmen.
Datenquellen, Datenqualität, mögliche Verzerrungen und problematische Stellvertretermerkmale untersuchen.
Systemleistung nicht nur mit einer Gesamtquote, sondern auch über Fehlertypen und Folgen bewerten.
Wahrscheinlichkeit und Schadensschwere in einer Risikomatrix strukturiert abwägen.
Grundrechte, Fairness, Datenschutz, Sicherheit, Transparenz und menschliche Kontrolle in die Bewertung einbeziehen.
Belege hinsichtlich Quelle, Methode, Aktualität und Interessenkonflikten kritisch prüfen.
Schutzmaßnahmen vorschlagen und ein begründetes Urteil formulieren, das auch Restunsicherheit benennt.

Fächerübergreifende Bezüge

Fach	Beitrag zur Risikobewertung
Informatik	Daten, Modelle, Fehlerarten, Testverfahren, Robustheit und Systemgrenzen
Deutsch	Behauptungen prüfen, Quellen vergleichen, Argumente strukturieren, Urteil sprachlich begründen
Mathematik	Wahrscheinlichkeiten, Anteile, Fehlerraten, Risikomatrix und Interpretation von Kennzahlen
Technik	Sicherheit, Zuverlässigkeit, Mensch-Maschine-Schnittstellen und technische Schutzmaßnahmen
Wirtschaft	Kosten, Nutzen, Anreize, Haftung, Wettbewerb und Interessen von Anbietern
Geschichte	Vergleich mit früheren Automatisierungs- und Technisierungsprozessen sowie deren gesellschaftlichen Folgen
Ethik	Werteabwägung, Verantwortung, Gerechtigkeit, Menschenwürde und Folgen von Entscheidungen
Gemeinschaftskunde	Grundrechte, demokratische Kontrolle, Regulierung, Beteiligung und gesellschaftliche Machtverteilung

Vorschlag für 90 Minuten

Zeit	Phase	Lernaktivität
8 Minuten	Aktivierung	Drei Aussagen einschätzen und erste Risikokriterien sammeln
15 Minuten	Einführung	Risiko, soziotechnisches System und Risikomatrix verstehen
15 Minuten	Daten und Systemleistung	Beispieldaten auswerten und Fehlertypen untersuchen
30 Minuten	Anwendung	Schulfall mit mehreren Stakeholdern systematisch bewerten
12 Minuten	Urteilsbildung	Schutzmaßnahmen vergleichen und Entscheidung begründen
10 Minuten	Selbstkontrolle und Transfer	Quiz, Exit-Ticket und Übertragung auf ein neues Beispiel

Für eine einzelne 45-Minuten-Stunde kannst Du Aktivierung, Einführung und eine verkürzte Fallanalyse durchführen. Für eine Doppelstunde empfiehlt sich der vollständige Ablauf.

Aktivierung und Diagnose

Lies die Aussagen und entscheide zunächst allein: stimme zu, unsicher oder stimme nicht zu. Begründe danach eine Deiner Entscheidungen mit einem Satz.

Aussage	Deine erste Einschätzung
Ein KI-System mit 90 Prozent Genauigkeit ist automatisch sicher genug.
Wenn eine KI nur Empfehlungen gibt, liegt kein Risiko vor.
Ein Datensatz kann technisch korrekt und trotzdem unfair sein.
Menschliche Kontrolle hilft nur dann, wenn Menschen wirklich eingreifen können.
Eine gute Risikobewertung braucht neben Zahlen auch Werte, Rechte und Kontext.

Diagnosefrage: Welche drei Informationen würdest Du unbedingt wissen wollen, bevor eine Schule ein KI-System einführt, das Lernende bewertet oder Empfehlungen über Fördermaßnahmen abgibt?

Einführung: Was bedeutet Risiko bei KI?

Ein Risiko beschreibt eine mögliche unerwünschte Folge unter Unsicherheit. Häufig betrachtet man dabei mindestens zwei Fragen:

Wie wahrscheinlich ist ein Schaden oder eine problematische Wirkung?
Wie schwer wären die Folgen, wenn sie eintreten?

Eine einfache Denkstütze lautet:

Risiko ≈ Eintrittswahrscheinlichkeit × Schadensschwere

Diese Formel ist aber kein Naturgesetz. Bei Grundrechten, Diskriminierung oder sehr schweren Schäden kann eine bloße Punktzahl wichtige Unterschiede verdecken. Ein seltenes Ereignis kann trotzdem unvertretbar sein. Außerdem sind Wahrscheinlichkeiten bei neuen KI-Systemen oft nur unvollständig bekannt.

Gefahr, Fehler, Unsicherheit und Risiko

Begriff	Bedeutung	Beispiel
Gefahr	Eine Eigenschaft oder Situation mit möglichem Schadenspotenzial	Ein System kann persönliche Daten offenlegen.
Fehler	Ein konkretes falsches Ergebnis oder Fehlverhalten	Ein Schüler wird fälschlich als besonders förderbedürftig eingestuft.
Unsicherheit	Es ist nicht sicher bekannt, wie zuverlässig eine Aussage ist	Die Testdaten stammen nur aus einer anderen Schulform.
Risiko	Möglicher Schaden unter Berücksichtigung von Wahrscheinlichkeit, Schwere und Kontext	Falsche Einstufungen könnten regelmäßig zu ungerechter Benachteiligung führen.

KI ist ein soziotechnisches System

Ein KI-System besteht nicht nur aus einem Algorithmus. Für eine faire Bewertung musst Du mindestens das Zusammenspiel von Daten, Modell, Benutzeroberfläche, Regeln, Menschen und Institutionen betrachten.

Ein System kann technisch korrekt rechnen und trotzdem problematisch sein, wenn zum Beispiel ein ungeeigneter Zweck gewählt wurde, Daten bestimmte Gruppen schlechter abbilden, Menschen den Vorschlägen blind folgen oder es keinen Widerspruchsweg gibt.

Eine hilfreiche Kette lautet:

Zweck → Daten → Modell → Ausgabe → menschliche Entscheidung → Folgen → Rückmeldung

Risiken können an jeder Stelle entstehen und sich gegenseitig verstärken.

Typische Risikofelder

Risikofeld	Leitfrage
Datenqualität	Sind Daten richtig, relevant, aktuell und für den Einsatzzweck geeignet?
Verzerrung	Werden bestimmte Personen oder Gruppen systematisch häufiger falsch behandelt?
Zuverlässigkeit	Wie oft liegt das System richtig und welche Fehler macht es?
Sicherheit	Kann das System ausfallen, manipuliert oder zweckentfremdet werden?
Datenschutz	Werden mehr personenbezogene Daten verarbeitet als nötig?
Transparenz	Können Betroffene erkennen, dass KI beteiligt ist und welche Rolle sie spielt?
Erklärbarkeit	Können wichtige Entscheidungen so erklärt werden, dass Betroffene sie nachvollziehen können?
Menschliche Kontrolle	Kann ein Mensch sinnvoll prüfen, widersprechen, übersteuern oder stoppen?
Gesellschaftliche Folgen	Verändert das System Macht, Teilhabe, Arbeit, Bildungschancen oder öffentliche Debatten?
Verantwortung	Ist klar, wer für Einführung, Prüfung, Entscheidung und Folgen verantwortlich ist?

Das 7-Schritte-Prüfverfahren

Mit diesem Verfahren kannst Du sehr unterschiedliche KI-Anwendungen systematisch bewerten.

Schritt	Kernfrage	Typische Belege
1 Zweck und Betroffene	Welches Problem soll gelöst werden und wer ist betroffen?	Aufgabenbeschreibung, Einsatzkontext, Stakeholder-Interviews
2 Daten	Welche Daten fließen ein und welche Lücken oder Verzerrungen gibt es?	Datenblatt, Stichprobe, Herkunft, Verteilung, Aktualität
3 Systemleistung	Wie zuverlässig ist das System und welche Fehlertypen treten auf?	Tests, Fehlermatrix, Vergleichsgruppen, Robustheitstests
4 Folgen	Welche Schäden oder Nebenwirkungen sind möglich?	Risikomatrix, Szenarien, Erfahrungen aus Pilotphasen
5 Rechte und Werte	Welche Grundrechte und Werte können berührt werden?	Datenschutzprüfung, Fairnessanalyse, ethische Kriterien
6 Menschliche Kontrolle	Wer kann prüfen, widersprechen, korrigieren oder stoppen?	Zuständigkeiten, Beschwerdeweg, Protokolle, Abschaltmöglichkeit
7 Belege und Urteil	Welche Entscheidung ist angesichts der Belege und Restunsicherheit begründbar?	Quellenvergleich, Maßnahmenplan, dokumentiertes Urteil

Schritt 1: Zweck und Betroffene klären

Bevor Du technische Kennzahlen prüfst, musst Du wissen, was das System überhaupt tun soll. Derselbe Algorithmus kann in einem harmlosen und in einem hochsensiblen Kontext völlig unterschiedlich zu bewerten sein.

Frage deshalb:

Welches konkrete Problem soll gelöst werden?
Ist KI dafür überhaupt nötig oder gibt es eine einfachere Alternative?
Wer erhält einen Vorteil?
Wer trägt mögliche Nachteile?
Wer entscheidet über Einführung und Einsatz?
Können Betroffene mitreden oder widersprechen?

Ein System zur Sortierung von Ferienfotos hat andere Folgen als ein System, das über Prüfungsleistungen, Bewerbungen oder medizinische Behandlungen mitentscheidet.

Schritt 2: Daten untersuchen

Daten sind keine neutrale Abbildung der Welt. Sie entstehen durch Auswahl, Messung, Kategorien und frühere Entscheidungen. Ein Datensatz kann deshalb reale Ungleichheiten enthalten oder bestimmte Lebenslagen schlechter erfassen.

Wichtige Fragen sind:

Woher stammen die Daten?
Für welchen ursprünglichen Zweck wurden sie erhoben?
Wer fehlt oder kommt nur selten vor?
Sind die Daten aktuell?
Können einzelne Merkmale als Stellvertreter für soziale Merkmale wirken?
Sind personenbezogene Daten wirklich notwendig?
Wie werden Fehler in den Daten entdeckt und korrigiert?

Ein Beispiel für ein problematisches Stellvertretermerkmal wäre die Aktivität auf einer Lernplattform. Wenig Aktivität kann Lernprobleme anzeigen. Sie kann aber auch durch instabiles Internet, ein geteiltes Endgerät, Krankheit oder andere Lebensumstände entstehen. Wenn das System solche Unterschiede nicht berücksichtigt, kann es soziale Bedingungen fälschlich als persönliche Leistung interpretieren.

Auch Rückkopplungen sind wichtig: Wenn ein System aufgrund früherer Daten bestimmte Personen häufiger kontrolliert, entstehen aus dieser stärkeren Kontrolle wiederum mehr auffällige Daten. Diese neuen Daten können die ursprüngliche Annahme scheinbar bestätigen.

Schritt 3: Systemleistung und Fehlertypen prüfen

Eine einzelne Kennzahl wie Genauigkeit reicht fast nie aus. Entscheidend ist auch, welche Fehler auftreten und wen sie treffen.

Stell Dir ein fiktives System vor, das erkennen soll, welche von 100 Lernenden zusätzliche Unterstützung benötigen. Tatsächlich benötigen 20 Lernende Unterstützung.

Ergebnis	Anzahl	Bedeutung
Richtig positiv	15	Unterstützung nötig und vom System erkannt
Falsch positiv	10	Unterstützung laut System nötig, tatsächlich aber nicht
Falsch negativ	5	Unterstützung nötig, vom System aber übersehen
Richtig negativ	70	Keine zusätzliche Unterstützung nötig und korrekt erkannt

Die Gesamtgenauigkeit beträgt hier 85 von 100 = 85 Prozent. Trotzdem bleiben 15 Fehlentscheidungen.

Für die Bewertung sind mehrere Kennzahlen hilfreich:

Kennzahl	Rechnung im Beispiel	Frage
Genauigkeit	85 von 100 = 85 Prozent	Wie oft liegt das System insgesamt richtig?
Präzision	15 von 25 = 60 Prozent	Wie viele positiv Eingestuften sind tatsächlich positiv?
Trefferquote	15 von 20 = 75 Prozent	Wie viele tatsächlich Betroffene werden erkannt?

Nun wird es interessanter. Die 100 Lernenden lassen sich nach Zugang zur Lernplattform betrachten:

Gruppe	Richtig positiv	Falsch positiv	Falsch negativ	Richtig negativ
stabiler digitaler Zugang	8	2	2	38
unregelmäßiger digitaler Zugang	7	8	3	32

Bei Lernenden mit stabilem Zugang werden 2 von 40 tatsächlich nicht förderbedürftigen Personen falsch markiert. Das sind 5 Prozent. Bei unregelmäßigem Zugang sind es 8 von 40, also 20 Prozent. Die Gesamtquote von 85 Prozent würde diesen Unterschied verbergen.

Wichtig: Die Zahlen sind Beispieldaten für den Unterricht. In einer echten Bewertung müsstest Du prüfen, wie die Daten erhoben wurden, ob die Gruppen sinnvoll definiert sind und ob Unterschiede statistisch belastbar sind.

Schritt 4: Folgen mit einer Risikomatrix bewerten

Nicht jeder Fehler hat dieselbe Bedeutung. Ein falsch empfohlenes Lied ist etwas anderes als eine falsche Einstufung bei einer Prüfung oder Bewerbung.

Bewerte deshalb für jedes wichtige Fehlerszenario:

Eintritt: Wie plausibel oder häufig ist das Problem?
Schwere: Wie stark wäre der mögliche Schaden?
Reichweite: Betrifft es eine Person, eine Gruppe oder viele Menschen?
Dauer: Ist der Schaden leicht korrigierbar oder langfristig?
Umkehrbarkeit: Kann die Entscheidung rückgängig gemacht werden?
Entdeckbarkeit: Wird ein Fehler schnell bemerkt?
Abhängigkeit: Können Betroffene auf eine Alternative ausweichen?

Eine Risikomatrix kann helfen, Prioritäten zu setzen. Sie ersetzt aber keine Begründung. Besonders bei Grundrechten oder schweren irreversiblen Schäden brauchst Du zusätzliche Schutzregeln.

Schritt 5: Grundrechte und Werte abwägen

KI-Risiken betreffen nicht nur Technik. Sie können Rechte und Werte berühren. Internationale Leitlinien betonen unter anderem Menschenwürde, Fairness, Transparenz, Datenschutz, Sicherheit, Nachhaltigkeit und menschliche Aufsicht.^[1]

Typische Zielkonflikte sind:

Ziel A	Ziel B	Abwägungsfrage
frühe Unterstützung	Datenschutz	Wie viele Daten sind wirklich nötig, um sinnvoll zu helfen?
Automatisierung	menschliche Kontrolle	Wo spart Technik Arbeit und wo muss ein Mensch verantwortlich entscheiden?
hohe Trefferquote	Fairness	Ist eine gute Gesamtleistung ausreichend, wenn Fehler ungleich verteilt sind?
Sicherheit	Freiheit und Privatsphäre	Wie weit darf Überwachung gehen, um Risiken zu senken?
Personalisierung	Gleichbehandlung	Wann ist unterschiedliche Behandlung hilfreich und wann unfair?
Transparenz	Schutz vor Manipulation	Welche Informationen müssen offen sein und welche könnten Sicherheitslücken vergrößern?

Werteabwägung bedeutet nicht, dass alles beliebig ist. Grundrechte, gesetzliche Vorgaben und Schutz vor schweren Schäden setzen Grenzen. Innerhalb dieser Grenzen müssen Zielkonflikte nachvollziehbar begründet werden.

Auch Menschen haben Verzerrungen. Deshalb ist menschliche Kontrolle nicht automatisch fehlerfrei. Gute Aufsicht braucht Zeit, Informationen, klare Zuständigkeiten und die Möglichkeit, dem System tatsächlich zu widersprechen.

Schritt 6: Human Agency und menschliche Kontrolle sichern

Human Agency bedeutet hier, dass Menschen handlungsfähig bleiben. Sie sollen KI nicht nur bedienen, sondern Entscheidungen verstehen, hinterfragen und beeinflussen können.

Menschliche Kontrolle ist besonders wirksam, wenn

die zuständige Person weiß, was das System kann und nicht kann,
sie relevante Belege und Unsicherheiten sehen kann,
sie nicht unter Zeitdruck nur automatisch bestätigt,
sie eine Empfehlung überstimmen darf,
Betroffene eine verständliche Erklärung erhalten,
ein Widerspruchs- oder Beschwerdeweg existiert,
kritische Vorfälle dokumentiert werden,
das System bei Bedarf pausiert oder abgeschaltet werden kann.

Das Video bezieht sich auf Medizin. Übertrage die Leitfrage auf Schule: Welche Entscheidungen darf ein KI-System vorbereiten und welche Verantwortung darf nicht an das System abgegeben werden?

Schritt 7: Belege prüfen und ein Urteil formulieren

Ein gutes Urteil besteht nicht aus einem Bauchgefühl und auch nicht aus einer einzigen Kennzahl. Nutze ein einfaches Schema:

Behauptung → Beleg → Prüfung des Belegs → Abwägung → Schlussfolgerung

Prüfe Quellen mit diesen Kriterien:

Kriterium	Leitfrage
Urheberschaft	Wer veröffentlicht die Information und mit welcher Fachkompetenz?
Methode	Wie wurden Daten, Tests oder Aussagen gewonnen?
Stichprobe	Für wen gelten die Ergebnisse und wer fehlt möglicherweise?
Aktualität	Passt der Zeitpunkt der Untersuchung zum heutigen System?
Unabhängigkeit	Gibt es wirtschaftliche oder politische Interessen?
Vergleichbarkeit	Wurde das System unter realistischen Bedingungen getestet?
Nachprüfbarkeit	Können andere die Ergebnisse nachvollziehen oder wiederholen?
Unsicherheit	Werden Grenzen und offene Fragen genannt?

Eine Anbieterbroschüre kann nützliche technische Angaben enthalten, ist aber kein Ersatz für unabhängige Tests. Ein einzelner Erfahrungsbericht kann einen möglichen Schaden sichtbar machen, belegt aber noch nicht dessen Häufigkeit.

Gesellschaftliche Folgen mitdenken

Eine KI-Anwendung kann nicht nur einzelne Nutzer betreffen. Sie kann auch Strukturen verändern.

Macht und Abhängigkeit

Wenn wenige Organisationen Daten, Modelle oder Infrastruktur kontrollieren, können neue Abhängigkeiten entstehen. Schulen, Verwaltungen oder Unternehmen müssen deshalb prüfen, ob sie Entscheidungen noch nachvollziehen und Anbieter wechseln können.

Arbeit und Wirtschaft

Automatisierung kann Tätigkeiten erleichtern, neue Berufe schaffen oder Aufgaben verdrängen. Eine verantwortliche Bewertung fragt nicht nur nach Effizienz, sondern auch nach Qualifikation, Arbeitsbedingungen, Mitbestimmung und Verteilung von Vorteilen.

Öffentlichkeit und Demokratie

Generative Systeme können Information leichter zugänglich machen. Gleichzeitig können massenhaft erzeugte Inhalte, Täuschungen oder manipulierte Medien die Quellenprüfung erschweren. Für Medienkompetenz und Demokratiebildung wird daher wichtiger, Herkunft, Belege und Interessen zu prüfen.

Geschichte als Vergleichsfolie

Technische Umbrüche wie Mechanisierung, Elektrifizierung, Computerisierung und Internet haben Arbeit, Kommunikation und Machtverhältnisse verändert. Historische Vergleiche liefern keine fertige Prognose für KI, helfen aber bei einer wichtigen Frage: Welche Folgen entstehen nicht allein durch eine Technik, sondern durch politische Regeln, wirtschaftliche Interessen und gesellschaftliche Entscheidungen?

Rechtlicher und ethischer Orientierungsrahmen

Der europäische AI Act arbeitet mit einem risikobasierten Ansatz. Er unterscheidet unter anderem verbotene Praktiken, Hochrisiko-Anwendungen, Anwendungen mit besonderen Transparenzpflichten sowie Systeme mit geringem oder keinem zusätzlichen Risiko. In bestimmten Bereichen der Bildung können KI-Systeme als Hochrisiko-Anwendungen eingeordnet werden, etwa wenn sie Lernleistungen bewerten oder Bildungswege wesentlich beeinflussen.^[2]

Stand September 2026: Die allgemeinen Transparenzpflichten des AI Act gelten seit August 2026. Nach der 2026 geänderten Umsetzungsplanung sollen die Regeln für bestimmte Hochrisiko-Anwendungen unter anderem im Bildungsbereich ab Dezember 2027 gelten.^[3] Für aktuelle Rechtsfragen muss immer die jeweils gültige Fassung geprüft werden.

Der Europarat verfolgt zusätzlich einen menschenrechtsbezogenen Ansatz. Seine Rahmenkonvention zu KI fordert, Risiken und Auswirkungen auf Menschenrechte, Demokratie und Rechtsstaatlichkeit zu bewerten und geeignete Schutzmaßnahmen vorzusehen.^[4]

Wichtig: Eine rechtliche Einstufung ersetzt nicht die pädagogische oder ethische Bewertung. Ein System kann legal sein und trotzdem für einen konkreten Schulzweck ungeeignet. Umgekehrt ist nicht jedes technische Risiko automatisch ein Rechtsverstoß.

Realistische Anwendungssituation: Soll unsere Schule „LernRadar“ einführen?

Die folgende Situation ist fiktiv, aber an realistische Entscheidungsprobleme angelehnt.

Eine Schule prüft ein KI-gestütztes System namens LernRadar. Es soll erkennen, welche Schüler:innen wahrscheinlich zusätzliche Unterstützung benötigen. Das System verarbeitet Ergebnisse aus Lernstandsaufgaben, Abgabeverhalten, Aktivität auf der digitalen Lernplattform und Fehlzeiten. Lehrkräfte erhalten eine Risikoeinstufung und eine Empfehlung für Fördergespräche.

Die Schulleitung hofft, Probleme früher zu erkennen. Lehrkräfte möchten Unterstützung, aber keine zusätzliche Bürokratie. Schüler:innen sorgen sich um falsche Etiketten und Überwachung. Eltern wünschen Hilfe, aber verständliche Erklärungen. Die Datenschutzbeauftragte verlangt Datenminimierung. Der Anbieter verspricht hohe Genauigkeit und möchte das System langfristig an weitere Schulen verkaufen.

Stakeholder und Zielkonflikte

Stakeholder	Mögliche Interessen	Mögliche Risiken
Schüler:innen	passende Unterstützung, faire Behandlung, Mitbestimmung	falsche Einstufung, Stigmatisierung, Datenschutzverlust
Lehrkräfte	frühe Hinweise, weniger Suchaufwand	Automationsbias, zusätzlicher Prüfaufwand, Verantwortungsunklarheit
Eltern	Förderung und Transparenz	unverständliche Entscheidungen, fehlende Widerspruchsmöglichkeiten
Schulleitung	Bildungserfolg, effiziente Ressourcenverteilung	Haftung, Vertrauensverlust, Fehlsteuerung
Datenschutzbeauftragte	Datenminimierung und rechtskonforme Verfahren	unnötige Datensammlung, Zweckänderung
Anbieter	funktionierendes Produkt, Marktchancen	Interessenkonflikte bei Selbstevaluation
Schulträger	wirtschaftlicher und nachhaltiger Betrieb	Abhängigkeit von einem Anbieter, Folgekosten

Drei Entscheidungsoptionen

Option	Beschreibung
A Vollautomatisch	LernRadar bestimmt selbstständig, wer Fördermaßnahmen erhält.
B Assistiert	LernRadar liefert nur einen Hinweis. Eine geschulte Lehrkraft prüft weitere Informationen, dokumentiert die Entscheidung und Schüler:innen können widersprechen.
C Kein Prognosesystem	Die Schule verzichtet auf die KI-Prognose und nutzt transparente Lernstandsdiagnosen, Gespräche und freiwillige Selbsteinschätzungen.

Arbeitsauftrag zur Fallentscheidung

Bearbeitet den Fall in Gruppen. Jede Gruppe soll nicht sofort eine Option wählen, sondern zuerst Belege sammeln.

Formuliert den Zweck von LernRadar in einem Satz.
Nennt mindestens fünf Stakeholder und jeweils ein mögliches Interesse.
Markiert Daten, die besonders erklärungsbedürftig oder sensibel sind.
Nutzt die Beispieldaten aus dem Abschnitt zur Systemleistung und beschreibt mindestens zwei relevante Fehlertypen.
Bewertet drei Risiken nach Wahrscheinlichkeit, Schwere, Reichweite und Umkehrbarkeit.
Prüft, welche Grundrechte und Werte berührt sein könnten.
Entwerft mindestens vier Schutzmaßnahmen.
Vergleicht Option A, B und C.
Formuliert ein Urteil mit mindestens drei Belegen und einer benannten Restunsicherheit.

Mögliche Schutzmaßnahmen

Schutzmaßnahmen sollen Risiken konkret verringern. Beispiele sind:

weniger Eingabedaten und Verzicht auf unnötige Merkmale,
Testung mit unterschiedlichen Schülergruppen,
regelmäßige Kontrolle von Fehlerraten,
keine automatische Sanktion oder Benotung,
verpflichtende menschliche Prüfung,
verständliche Information für Betroffene,
dokumentierter Widerspruchsweg,
zeitlich begrenzter Pilotversuch,
unabhängige Evaluation,
klare Löschfristen,
Protokollierung kritischer Änderungen,
Möglichkeit, den Einsatz zu stoppen.

Die Aufgabe besteht nicht darin, möglichst viele Maßnahmen aufzuzählen. Prüfe stattdessen, welches konkrete Risiko jede Maßnahme senkt.

Entscheidungsvorlage

Prüffeld	Deine Belege	Deine Bewertung
Zweck und Notwendigkeit
Datenqualität und Datenminimierung
Systemleistung und Fehler
Fairness
Datenschutz und Grundrechte
Menschliche Kontrolle
Transparenz und Widerspruch
gesellschaftliche Folgen
Schutzmaßnahmen
Restunsicherheit
Gesamturteil

Ein starkes Urteil kann auch lauten: „Wir wissen noch nicht genug.“ Dann musst Du benennen, welche zusätzlichen Daten oder Tests vor einer Entscheidung nötig sind.

Mathematische Vertiefung: Zahlen richtig lesen

Nutze noch einmal die Beispieldaten des Unterstützungssystems.

Leicht

Berechne die Gesamtzahl falscher Entscheidungen. Erkläre anschließend, warum die Aussage „85 Prozent Genauigkeit“ allein keine ausreichende Risikobewertung ist.

Standard

Berechne für beide Zugangsgruppen den Anteil falsch positiver Einstufungen unter den tatsächlich nicht förderbedürftigen Lernenden. Vergleiche die Werte und formuliere eine mögliche Hypothese für den Unterschied.

Schwer

Diskutiere, ob gleiche Fehlerraten für alle Gruppen automatisch „fair“ wären. Beziehe unterschiedliche Ausgangslagen, verschiedene Schadensarten und die Frage ein, welches Fairnessziel überhaupt gelten soll.

Deutsch und Quellenkritik: Aus Behauptungen werden Urteile

Vergleiche die folgenden drei Aussagen:

Aussage	Problem
„Unsere KI ist objektiv.“	Unklare Behauptung ohne Kriterium und Beleg
„Im Test lag die Genauigkeit bei 92 Prozent.“	Besser belegt, aber Kontext und Fehlertypen fehlen
„In einer unabhängigen Teststichprobe mit 2.000 Fällen erreichte das System 92 Prozent Genauigkeit; bei Gruppe X war die Fehlerrate jedoch deutlich höher.“	Aussage enthält Methode, Umfang und eine relevante Einschränkung

Deine Aufgabe beim wissenschaftsnahen Argumentieren lautet: Nicht nur fragen, ob eine Zahl stimmt, sondern was sie aussagt, was sie nicht aussagt und für welche Entscheidung sie relevant ist.

Technik und Wirtschaft: Wer trägt Verantwortung?

Bei einem KI-System können viele Beteiligte Einfluss auf das Ergebnis haben: Entwickler:innen, Datenlieferanten, Anbieter, Betreiber, Fachkräfte, Leitung und Nutzer:innen. Verantwortung darf deshalb nicht mit dem Satz „Die KI hat entschieden“ verschwinden.

Wirtschaftliche Anreize können zusätzliche Zielkonflikte erzeugen. Ein Anbieter möchte ein Produkt schnell skalieren, während eine Schule langfristig stabile, nachvollziehbare und datensparsame Lösungen braucht. Risikobewertung fragt deshalb auch nach Vertragsbedingungen, Wechselmöglichkeiten, Folgekosten, Updatepolitik und unabhängiger Prüfung.

Reflexion: Human Agency

Beantworte am Ende drei Fragen schriftlich:

An welcher Stelle des Prüfverfahrens hätte ich vor dem Kurs am ehesten zu schnell geurteilt?
Welche Information würde meine Entscheidung im Fall LernRadar am stärksten verändern?
Welche Entscheidung sollte auch bei sehr leistungsfähiger KI beim Menschen bleiben und warum?

Exit-Ticket: Formuliere einen Satz nach diesem Muster:

„Ich würde den Einsatz nur dann befürworten, wenn …, weil …; als wichtigsten Beleg brauche ich …; unsicher bleibt … .“

Transfer auf neue Fälle

Übertrage den 7-Schritte-Check auf einen dieser Fälle:

Bewerbung: Ein Unternehmen lässt Bewerbungen durch ein KI-System vorsortieren.
Gesichtserkennung: Ein Veranstalter möchte automatisiert Personen auf Videoaufnahmen erkennen.
Generative KI: Eine Redaktion nutzt KI, um Meldungen zusammenzufassen.
Medizinische Diagnose: Ein System markiert Auffälligkeiten in Röntgenbildern.
Smart City: Eine Stadt steuert Verkehrsflüsse mit Prognosesoftware.

Prüfe bei jedem Fall mindestens Zweck, Betroffene, Daten, Fehlertypen, Folgen, Rechte, menschliche Kontrolle und notwendige Belege.

Interaktive Aufgaben

Quiz: Teste Dein Wissen

Warum reicht eine hohe Gesamtgenauigkeit für eine Risikobewertung nicht aus? (Weil Fehlertypen Folgen und Verteilung auf Gruppen zusätzlich geprüft werden müssen) (!Weil Genauigkeit bei KI grundsätzlich nie gemessen werden kann) (!Weil nur die Geschwindigkeit eines Systems relevant ist) (!Weil jede KI mit hoher Genauigkeit verboten ist)

Was gehört zuerst in eine systematische KI-Risikobewertung? (Der Zweck des Systems und die betroffenen Personen) (!Die Farbe der Benutzeroberfläche) (!Der Markenname des Anbieters) (!Die Anzahl der Werbeanzeigen)

Was ist ein falsch negatives Ergebnis? (Ein tatsächlich relevanter Fall wird vom System übersehen) (!Ein irrelevanter Fall wird korrekt abgelehnt) (!Ein relevanter Fall wird korrekt erkannt) (!Ein System wird absichtlich ausgeschaltet)

Was beschreibt Human Agency am besten? (Menschen können informiert entscheiden prüfen widersprechen und eingreifen) (!Menschen übernehmen jede KI-Ausgabe automatisch) (!KI-Systeme entscheiden grundsätzlich ohne Aufsicht) (!Nur Entwickler dürfen Entscheidungen hinterfragen)

Welche Frage gehört zur Datenprüfung? (Wer fehlt möglicherweise im Datensatz oder ist schlecht repräsentiert) (!Wie modern das Logo des Systems aussieht) (!Wie viele Buchstaben der Produktname hat) (!Welche Musik im Büro des Anbieters läuft)

Wozu dient eine Risikomatrix? (Sie strukturiert die Bewertung von Eintrittswahrscheinlichkeit und Schadensschwere) (!Sie beweist automatisch dass ein System fair ist) (!Sie ersetzt jede ethische Abwägung) (!Sie berechnet den Verkaufspreis einer Software)

Was ist ein guter Beleg für die Leistung eines KI-Systems? (Ein nachvollziehbar dokumentierter Test unter passenden realistischen Bedingungen) (!Eine unbelegte Werbeaussage des Anbieters) (!Ein einzelner positiver Kommentar ohne Kontext) (!Eine Vermutung über die zukünftige Technik)

Warum kann ein Stellvertretermerkmal problematisch sein? (Es kann indirekt Eigenschaften abbilden die zu unfairer Behandlung führen) (!Es verhindert immer jede Datenauswertung) (!Es macht ein KI-System automatisch schneller) (!Es garantiert gleiche Ergebnisse für alle)

Was kennzeichnet wirksame menschliche Kontrolle? (Eine zuständige Person kann informiert prüfen überstimmen und stoppen) (!Ein Mensch klickt jede Empfehlung ohne Prüfung an) (!Das System darf niemals protokolliert werden) (!Betroffene erhalten grundsätzlich keine Erklärung)

Wie sollte ein begründetes Gesamturteil mit Unsicherheit umgehen? (Es benennt offene Fragen Restunsicherheit und notwendige weitere Belege) (!Es verschweigt alle Zweifel) (!Es ersetzt fehlende Daten durch Vermutungen) (!Es übernimmt automatisch die Ansicht der Mehrheit)

Memory

Fairness	gerechte Behandlung
Transparenz	nachvollziehbare Information
Datenschutz	Schutz personenbezogener Daten
Robustheit	stabile Leistung bei Störungen
Aufsicht	menschliche Eingriffsmöglichkeit
Evidenz	überprüfbarer Beleg

Drag and Drop

Ordne die richtigen Begriffe zu.	Thema
Fairness	Gleichbehandlung
Transparenz	Nachvollziehbarkeit
Robustheit	Zuverlässigkeit
Datenschutz	Privatsphäre
Human Agency	Handlungsfähigkeit

Kreuzworträtsel

Transparenz	Welches Prinzip fordert nachvollziehbare Informationen über den KI-Einsatz?
Fairness	Welcher Begriff beschreibt die Frage nach gerechter Behandlung?
Datenschutz	Wie heißt der Schutz personenbezogener Informationen?
Aufsicht	Welcher Begriff bezeichnet die kontrollierende Rolle eines Menschen?
Verantwortung	Wer entscheidet und für Folgen einstehen muss trägt was?
Belege	Was brauchst Du für ein nachvollziehbar begründetes Urteil?

LearningApps

Lückentext

Eine systematische Risikobewertung beginnt mit dem

eines KI-Systems. Daten müssen auf Qualität, Herkunft und mögliche

geprüft werden. Eine hohe Gesamtgenauigkeit kann unterschiedliche

verdecken. Die Risikomatrix verbindet Eintrittswahrscheinlichkeit mit der möglichen

. Bei sensiblen Entscheidungen müssen auch

berücksichtigt werden. Menschen sollen KI-Ausgaben prüfen und bei Bedarf

können. Ein nachvollziehbares Urteil braucht überprüfbare

. Eine unabhängige Quelle kann Interessenkonflikte besser sichtbar machen als reine

. Auch nach Schutzmaßnahmen kann eine

bestehen. Verantwortlicher KI-Einsatz stärkt menschliche

statt sie zu ersetzen.

Offene Aufgaben

Leicht

Risikotagebuch: Sammle drei KI-Anwendungen aus Deinem Alltag und notiere jeweils einen möglichen Nutzen und ein mögliches Risiko.
Stakeholder-Karte: Zeichne für den Fall LernRadar eine Karte mit mindestens fünf Beteiligten und ihren Interessen.
Quellencheck: Vergleiche eine Anbieterbeschreibung mit einer unabhängigen Quelle und notiere Unterschiede in Sprache, Belegen und Interessen.
Fehlergeschichten: Schreibe zwei kurze Szenarien, in denen ein falsch positives und ein falsch negatives Ergebnis unterschiedliche Folgen haben.

Standard

Risikomatrix: Entwickle für eine KI-Anwendung mindestens vier konkrete Risikoszenarien und ordne sie nach Wahrscheinlichkeit und Schadensschwere ein.
Datenprüfung: Erstelle eine Checkliste mit mindestens acht Fragen, mit denen Du einen Trainings- oder Nutzungsdatensatz untersuchen würdest.
Fairness-Analyse: Nutze die Beispieldaten des Kurses und erkläre, warum eine gute Gesamtgenauigkeit ungleiche Fehlerverteilungen verdecken kann.
Stakeholder-Hearing: Führt ein Rollengespräch mit Schüler:innen, Lehrkraft, Schulleitung, Eltern, Datenschutz und Anbieter durch. Jede Rolle muss mindestens einen Beleg und einen Zielkonflikt nennen.

Schwer

Schutzmaßnahmen-Design: Entwickle ein Maßnahmenpaket für LernRadar und ordne jeder Maßnahme genau das Risiko zu, das sie senken soll.
Urteil mit Gegenargument: Schreibe ein begründetes Urteil zum Fall LernRadar und formuliere anschließend das stärkste Gegenargument gegen Deine eigene Position.
Technikfolgenabschätzung: Vergleiche eine heutige KI-Anwendung mit einem historischen Automatisierungsschub und untersuche Gemeinsamkeiten und Unterschiede bei Arbeit, Macht und Regulierung.
Bürgergutachten: Erstellt als Gruppe eine einseitige Empfehlung für die Schulkonferenz mit Kriterien, Belegen, Minderheitsposition, Restunsicherheit und Bedingungen für eine erneute Überprüfung.

Lernkontrolle

Systemanalyse: Eine Schule möchte einen KI-basierten Prüfungsassistenten einsetzen. Entwickle ein Prüfverfahren mit mindestens sechs Kriterien und begründe, warum jedes Kriterium notwendig ist.
Daten und Folgen: Erkläre an einem eigenen Beispiel, wie ein scheinbar neutrales Merkmal als Stellvertreter für soziale Unterschiede wirken kann. Schlage eine Prüfung und eine Schutzmaßnahme vor.
Kennzahlen bewerten: Ein Anbieter wirbt mit 94 Prozent Genauigkeit. Nenne mindestens vier zusätzliche Informationen, die Du vor einer Entscheidung benötigst, und begründe ihre Bedeutung.
Wertekonflikt: Entwickle einen Fall, in dem Sicherheit und Privatsphäre miteinander in Konflikt stehen. Formuliere zwei vertretbare Positionen und entscheide anschließend begründet.
Human Agency: Entwirf einen Ablauf, bei dem eine KI eine Empfehlung gibt, Menschen aber wirksam kontrollieren, widersprechen und korrigieren können.
Begründetes Urteil: Wähle eine KI-Anwendung aus Schule, Wirtschaft oder Verwaltung. Formuliere ein Urteil, das mindestens drei Belege, zwei Risiken, zwei Schutzmaßnahmen und eine Restunsicherheit enthält.

Lernnachweis

Für einen Lernnachweis zu diesem Thema ist wichtig, dass Du nicht nur Begriffe wiedergeben kannst, sondern ein nachvollziehbares Bewertungsverfahren anwendest.

Du beschreibst Zweck, Einsatzkontext und Stakeholder eines KI-Systems.
Du untersuchst Datenherkunft, Datenqualität und mögliche Verzerrungen.
Du interpretierst Systemkennzahlen und unterscheidest relevante Fehlertypen.
Du bewertest Wahrscheinlichkeit, Schadensschwere, Reichweite und Umkehrbarkeit möglicher Folgen.
Du beziehst Fairness, Datenschutz, Sicherheit, Transparenz, Grundrechte und gesellschaftliche Folgen ein.
Du zeigst, wo menschliche Kontrolle erforderlich ist und wie sie praktisch funktionieren kann.
Du verwendest überprüfbare Belege und beurteilst ihre Qualität.
Du entwickelst passende Schutzmaßnahmen.
Du nennst Gegenargumente und Restunsicherheit.
Du formulierst ein begründetes Gesamturteil, das andere anhand Deiner Kriterien nachvollziehen können.

OERs zum Thema

Weitere frei nutzbare Lernmedien:

KI-Campus: Biases beim Maschinellen Lernen – frei verfügbares Lernvideo unter CC BY-SA 4.0.
KI-Campus: KI in meinem Alltag – Unterrichtsmaterialien unter offener Lizenz.
UNESCO: Recommendation on the Ethics of Artificial Intelligence – internationaler Orientierungsrahmen.
Europäische Kommission: AI Act – aktueller Überblick zum risikobasierten europäischen Rechtsrahmen.

Quellen und Belege

Verknüpfte Lernbereiche

KI-Risiken systematisch bewerten

aiMOOC-Projekte

Inhalte werden geladen ...

Mediathek wird aus dem Wiki geladen ...

Frag mich zum aktuellen Lerninhalt oder wähle eine kurze Hilfe.

Textmodus bereit

Sprache

[1] UNESCO: Recommendation on the Ethics of Artificial Intelligence, abgerufen am 12.09.2026

[2] Europäische Kommission: AI Act – Regulatory Framework for AI, abgerufen am 12.09.2026

[3] Europäische Kommission: High-Risk AI Systems, abgerufen am 12.09.2026

[4] Council of Europe: Framework Convention on Artificial Intelligence, abgerufen am 12.09.2026

[1]

[2]

[3]

[4]