KI-Governance verstehen
KI-Governance verstehen
KI-Governance verstehen
Zielgruppe: Klasse 10, fächerübergreifend mit Schwerpunkten in Informatik, Mathematik, Technik, Deutsch, Wirtschaft, Geschichte, Ethik und Gemeinschaftskunde.
Zeitbedarf: etwa 1–2 Unterrichtsstunden. Für 45 Minuten können Diagnose, Grundidee, Fallentscheidung und Exit-Ticket bearbeitet werden. Für 90 Minuten kommen Evaluation, Rollenverhandlung, interaktive Aufgaben, Reflexion und Transfer hinzu.
Leitfrage: Wer entscheidet eigentlich, wenn ein KI-System Entscheidungen vorbereitet – und wie sorgen wir dafür, dass Menschen, Grundrechte und nachvollziehbare Verantwortung nicht aus dem Blick geraten?
Einleitung
KI-Systeme können Texte erzeugen, Bilder auswerten, Prognosen berechnen oder Menschen bei Entscheidungen unterstützen. Sobald solche Systeme in Schule, Verwaltung, Medizin, Unternehmen oder öffentlicher Infrastruktur eingesetzt werden, reicht es aber nicht zu fragen: „Wie gut ist das Modell?“ Ebenso wichtig ist: Wer legt das Ziel fest? Wer darf das System einsetzen? Welche Daten werden genutzt? Wer prüft Fehler? Wer kann widersprechen? Wer trägt Verantwortung?
Genau darum geht es bei KI-Governance. Governance bedeutet hier die Gesamtheit aus Regeln, Rollen, Verfahren, Kontrollen und Nachweisen, mit denen Menschen den Einsatz von KI über den gesamten Lebenszyklus gestalten und verantworten. KI-Governance ist also weder nur ein Gesetz noch nur eine technische Sicherheitsfunktion. Sie verbindet Systemdesign, Evaluation, Organisation, Recht, Ethik und demokratische Kontrolle.
Die Grundidee lautet: Je stärker ein KI-System Menschen, Chancen oder Rechte beeinflussen kann, desto wichtiger sind angemessene Prüfungen, menschliche Entscheidungsmöglichkeiten, Transparenz, Beschwerdewege und laufende Kontrolle. Gute Governance versucht nicht, jedes Risiko auf null zu setzen. Sie macht Ziele und Risiken sichtbar, verteilt Verantwortung und schafft Verfahren, mit denen Fehler erkannt, korrigiert und notfalls der Einsatz gestoppt werden kann.
Das UNESCO-Video zeigt, dass Werte wie Fairness, Transparenz und menschliche Aufsicht erst dann wirksam werden, wenn sie in konkrete Verfahren übersetzt werden. Nutze das Video nicht als Autorität, die „die richtige Antwort“ vorgibt, sondern als Quelle: Welche Akteure kommen vor? Welche Werte werden genannt? Welche Fragen bleiben offen?
Lernziele
Am Ende kannst Du ...
- KI-Governance: die Grundidee in eigenen Worten erklären und von bloßer Techniksteuerung oder einem einzelnen Gesetz unterscheiden.
- Systemdesign: an einem neuen Fall erkennen, welche Ziele, Daten, Schnittstellen und menschlichen Eingriffsmöglichkeiten gestaltet werden müssen.
- Evaluation: Kennzahlen nicht isoliert betrachten, sondern mit Fehlerarten, Gruppenunterschieden und Folgen verbinden.
- Technikfolgenabschätzung: Betroffene, Nutzen, Risiken, Grundrechte und unbeabsichtigte Nebenwirkungen systematisch untersuchen.
- Human Agency: erklären, wann menschliche Kontrolle wirksam ist und wann ein Mensch nur scheinbar „in der Schleife“ sitzt.
- Verantwortung: Rollen zwischen Anbieter, Betreiber, Fachperson, Betroffenen und Aufsicht nachvollziehbar zuordnen.
- Fairness: Zielkonflikte erkennen und begründet abwägen, statt Fairness mit einer einzigen Kennzahl gleichzusetzen.
- Quellenkritik: Aussagen über KI-Regeln nach Quelle, Aktualität, Interessenlage und Rechtsstand prüfen.
- Transfer: ein Governance-Schema auf einen unbekannten KI-Fall übertragen und ein nachvollziehbares Urteil formulieren.
Kurze Aktivierung und Diagnose: Wer entscheidet?
Stell Dir vor, Deine Schule möchte ein KI-System einsetzen, das aus bisherigen Leistungen, Fehlzeiten und Lernplattformdaten Empfehlungen für Förderangebote erzeugt. Eine Lehrkraft sieht die Empfehlung und kann sie bestätigen oder ändern.
Notiere spontan zu vier Fragen je einen Satz:
- Nutzen: Was könnte daran hilfreich sein?
- Risiko: Was könnte schiefgehen?
- Macht: Wer hat in diesem System tatsächlich Entscheidungsmacht?
- Beleg: Welche Information würdest Du verlangen, bevor Du dem Einsatz zustimmst?
Diagnose-Idee für die Klasse: Ordnet Eure Antworten an der Tafel den Bereichen Technik – Mensch – Organisation – Recht und Werte zu. Wenn fast alle Antworten nur im Feld „Technik“ landen, ist das bereits ein Hinweis auf eine typische Fehlvorstellung: Governance beginnt nicht erst nach dem Programmieren und besteht nicht nur aus technischen Schutzmaßnahmen.
Die Kernidee: KI ist Teil eines sozio-technischen Systems
Ein KI-Modell ist nur ein Baustein. In der Praxis entsteht Wirkung erst durch das Zusammenspiel von Daten, Software, Benutzeroberfläche, Regeln, Menschen, Institutionen und Anreizen. Deshalb spricht man von einem sozio-technischen System.
Beispiel: Ein Modell berechnet eine Wahrscheinlichkeit, dass ein Schüler zusätzliche Unterstützung benötigt. Diese Zahl wird erst dann zu einer bedeutsamen Entscheidung, wenn eine Schule festlegt, ab welchem Wert eine Warnung erscheint, wer sie sieht, ob sie dokumentiert wird, wie Lehrkräfte reagieren und ob der Schüler die Empfehlung anfechten oder ergänzen kann.
Merksatz: Ein Modell liefert Ausgaben. Ein System erzeugt Handlungen. Governance legt fest, wie diese Handlungen zustande kommen, wer verantwortlich ist und wie sie überprüft werden.
Die Grafik trennt Governance-Autorität, operative Verantwortung und unabhängige Prüfung. Die Governance-Diagramme in diesem Kurs sind frei lizenzierte didaktische Illustrationen und keine offiziellen Norm- oder Behörden-Grafiken. Für den Unterricht ist wichtig: Nicht jede Organisation braucht genau diese drei Kästen. Entscheidend ist, dass Rollen nicht verschwimmen. Wer ein System betreibt, sollte nicht automatisch die einzige Stelle sein, die seine Qualität beurteilt.
Systemdesign: Schon die Gestaltung ist Governance
Systemdesign beantwortet mehr als die Frage nach dem Algorithmus. Für einen verantwortlichen Entwurf sind mindestens diese Entscheidungen wichtig:
| Gestaltungsfrage | Beispiel im Schulfall | Governance-Bedeutung |
|---|---|---|
| Welches Ziel? | Frühzeitig Unterstützungsbedarf erkennen | Verhindert, dass ein unklarer Zweck immer weiter ausgeweitet wird |
| Welche Daten? | Lernstand und freiwillig erhobene Rückmeldungen statt beliebiger Verhaltensdaten | Datenminimierung, Qualität und mögliche Verzerrungen werden sichtbar |
| Welche Ausgabe? | Hinweis mit Unsicherheit statt scheinbar endgültigem Urteil | Vermeidet falsche Gewissheit |
| Wer handelt? | Fachlich zuständige Lehrkraft nach eigener Prüfung | Menschliche Verantwortung bleibt zuordenbar |
| Welche Korrektur? | Schüler kann Kontext ergänzen und eine Überprüfung verlangen | Human Agency und Verfahrensfairness werden gestärkt |
| Wann stoppen? | Bei deutlichem Leistungsabfall des Systems oder wiederkehrender Benachteiligung | Ein Abschalt- oder Rückfallplan verhindert automatisches Weiterlaufen |
Gestaltungsprinzip: Eine gute Oberfläche darf menschliche Kontrolle nicht nur behaupten. Sie muss Zeit, Informationen, Kompetenzen und echte Handlungsalternativen bereitstellen. Ein „Bestätigen“-Knopf allein ist noch keine wirksame Aufsicht.
Evaluation: Nicht nur fragen, ob die KI oft richtig liegt
Evaluation bedeutet, systematisch zu prüfen, ob ein KI-System im vorgesehenen Kontext zuverlässig, fair und sicher genug arbeitet. Eine einzige Gesamtgenauigkeit kann Probleme verdecken.
Fiktives Testbeispiel mit 100 Schülerinnen und Schülern: Das System soll Unterstützungsbedarf erkennen. Die Schule untersucht zusätzlich, ob es bei Lernenden mit zuverlässigem und mit unzuverlässigem häuslichem Internetzugang ähnlich gut funktioniert. Die Gruppeneinteilung dient hier nur der Fehlersuche im Test und ist keine Empfehlung, solche Merkmale für Entscheidungen zu verwenden.
| Testgruppe | Tatsächlich unterstützungsbedürftig | Richtig erkannt | Übersehen | Falsch markiert | Korrekte Entscheidungen insgesamt |
|---|---|---|---|---|---|
| Zuverlässiger Internetzugang | 20 | 18 | 2 | 4 | 54 von 60 |
| Unzuverlässiger Internetzugang | 20 | 12 | 8 | 2 | 30 von 40 |
Insgesamt sind 84 von 100 Einordnungen korrekt. Das klingt zunächst gut. Trotzdem übersieht das System in der zweiten Gruppe 8 von 20 tatsächlich Unterstützungsbedürftigen. Die Trefferquote für tatsächlich Betroffene beträgt dort 60 Prozent, in der ersten Gruppe 90 Prozent.
Mathematischer Bezug: Solche Unterschiede lassen sich mit Anteilen, Prozentrechnung und einer Konfusionsmatrix untersuchen. Wichtig ist aber die Interpretation: Welche Fehlerart ist im konkreten Fall besonders schädlich? Ein falsch positiver Hinweis kann unnötig stigmatisieren; ein übersehener Unterstützungsbedarf kann dazu führen, dass Hilfe ausbleibt. Governance verbindet Kennzahlen deshalb mit Folgen.
Quellenkritischer Auftrag zum Video: Notiere eine Aussage über algorithmische Verzerrung und prüfe, ob das Video dafür ein Beispiel, Daten oder nur eine Behauptung liefert. Formuliere anschließend, welche zusätzliche Quelle Du für eine belastbare Entscheidung suchen würdest.
Folgenabschätzung: Vorher fragen, was nachher passieren könnte
Eine Folgenabschätzung betrachtet nicht nur beabsichtigte Vorteile, sondern auch mögliche Nebenwirkungen. Ein einfaches Raster für Klasse 10 lautet:
- Zweck: Welches legitime Problem soll gelöst werden?
- Betroffene: Wer profitiert, wer trägt Risiken, wer wird möglicherweise übersehen?
- Rechte und Werte: Berührt der Einsatz Privatsphäre, Gleichbehandlung, Bildungschancen, Meinungsfreiheit oder Menschenwürde?
- Fehler und Missbrauch: Welche Fehler sind vorhersehbar? Wie könnte das System zweckentfremdet werden?
- Alternativen: Gibt es eine weniger eingriffsintensive Lösung ohne oder mit weniger KI?
- Kontrollen: Welche Tests, Freigaben, Protokolle und Beschwerdewege sind nötig?
- Monitoring: Woran erkennt man im Betrieb, dass die Annahmen nicht mehr stimmen?
- Ausstieg: Wer darf den Einsatz pausieren oder beenden?
Die Lebenszyklus-Grafik macht deutlich: Governance ist kein einmaliger „Ethik-Check“. Anforderungen, Tests und Verantwortlichkeiten müssen während Entwicklung, Einführung, Nutzung und Veränderung des Systems erneut geprüft werden.
Human Agency, menschliche Aufsicht und Verantwortung
Human Agency bedeutet, dass Menschen nicht bloß Objekte automatisierter Prozesse sind, sondern informiert handeln, Entscheidungen beeinflussen und wirksame Rechte ausüben können. Dazu gehören je nach Fall verständliche Informationen, Wahlmöglichkeiten, Korrekturwege, Widerspruch und Zugang zu einer verantwortlichen Person.
Menschliche Aufsicht ist dann wirksam, wenn die zuständige Person:
- die Aufgabe und Grenzen des Systems versteht,
- relevante Informationen erhält,
- genügend Zeit und Kompetenz zur Prüfung hat,
- Empfehlungen wirklich überstimmen oder stoppen darf,
- nicht durch Gestaltung oder Arbeitsdruck zum bloßen Abnicken gedrängt wird,
- Entscheidungen und Abweichungen nachvollziehbar dokumentieren kann.
Verantwortung darf nicht an die KI delegiert werden. Aussagen wie „Der Algorithmus hat entschieden“ verdecken, dass Menschen Ziele festlegen, Systeme beschaffen, Daten auswählen, Schwellenwerte setzen und Entscheidungen organisatorisch wirksam machen.
Das freie Commons-Video aus dem KI-Campus zeigt am Beispiel Medizin, warum Transparenz und Erklärbarkeit für verantwortliche Entscheidungen wichtig sind. Übertrage die Idee anschließend auf Schule: Welche Erklärung braucht eine Lehrkraft, welche ein betroffener Schüler und welche eine Aufsichtsstelle? Die Antworten müssen nicht identisch sein.
Vier Stufen menschlicher Kontrolle
| Stufe | Beschreibung | Beispiel | Bewertung |
|---|---|---|---|
| Scheinaufsicht | Mensch klickt nur auf Bestätigen | Empfehlung wird praktisch immer übernommen | Schwach |
| Prüfbare Empfehlung | Mensch sieht Gründe, Unsicherheit und Alternativen | Lehrkraft vergleicht Empfehlung mit eigener Beobachtung | Besser |
| Wirksamer Widerspruch | Betroffene können eine menschliche Neubewertung auslösen | Schüler ergänzt fehlenden Kontext | Stärkt Human Agency |
| Stopprecht und Monitoring | Verantwortliche können Nutzung pausieren und Ursachen untersuchen | System wird bei auffälligen Fehlergruppen ausgesetzt | Starke Governance |
Grundrechte und Werteabwägung
KI-Governance ist nicht bloß Risikomanagement für Organisationen. In Bereichen wie Bildung, Arbeit, Medizin oder Verwaltung können Grundrechte betroffen sein. Wichtige Bezugspunkte sind zum Beispiel Gleichbehandlung, Datenschutz, Privatsphäre, Menschenwürde und wirksamer Rechtsschutz.
Werte können in Spannung geraten. Mehr Transparenz kann Nachvollziehbarkeit fördern, aber eine vollständige Offenlegung personenbezogener Daten würde Privatsphäre verletzen. Ein sehr empfindliches Warnsystem erkennt mehr Unterstützungsfälle, erzeugt aber womöglich mehr Fehlalarme. Eine strengere Kontrolle kann Sicherheit erhöhen, aber Ressourcen binden und Innovation verlangsamen.
Werteabwägung bedeutet deshalb nicht, einen Wert immer gewinnen zu lassen. Ein nachvollziehbares Urteil benennt:
- die betroffenen Werte und Rechte,
- die konkreten Folgen für unterschiedliche Stakeholder,
- realistische Alternativen,
- die Schwere und Wahrscheinlichkeit möglicher Schäden,
- Schutzmaßnahmen,
- verbleibende Unsicherheiten,
- die Person oder Stelle, die die Entscheidung verantwortet.
Governance in Recht und Gesellschaft
KI-Governance umfasst Gesetze, verbindliche Organisationsregeln, technische Standards, freiwillige Leitlinien und gesellschaftliche Kontrolle. Diese Instrumente haben unterschiedliche Stärken: Gesetze können Rechte und Pflichten verbindlich machen; Standards können Prüfverfahren konkretisieren; interne Regeln können Zuständigkeiten festlegen; Zivilgesellschaft, Forschung und Medien können Folgen sichtbar machen.
Rechtsstand September 2026: Die EU-Verordnung über künstliche Intelligenz, häufig AI Act genannt, ist seit 1. August 2024 in Kraft. Seit 2. August 2026 gelten große Teile der Verordnung und neue Transparenzpflichten; bestimmte Regeln für Hochrisiko-Anwendungen greifen aufgrund späterer Anpassungen erst zu späteren Terminen. Für bestimmte Hochrisiko-Anwendungen in sensiblen Bereichen wie Bildung ist nach aktuellem EU-Zeitplan der 2. Dezember 2027 relevant. Deshalb musst Du bei Rechtsfragen immer Datum, Anwendungsbereich und aktuelle Fassung prüfen.
Für Hochrisiko-KI sieht die EU unter anderem Anforderungen zu Risikomanagement, Datenqualität, Protokollierung, Dokumentation, Genauigkeit, Robustheit und menschlicher Aufsicht vor. Artikel 14 des AI Act verlangt für Hochrisiko-Systeme eine Gestaltung, die wirksame Aufsicht durch natürliche Personen ermöglicht. Das ist ein gutes Beispiel dafür, wie ein abstrakter Wert in Systemanforderungen übersetzt wird.
Das kurze Video stammt von DigitalEU, also aus dem Umfeld der Europäischen Kommission. Gerade deshalb ist es für Quellenkritik geeignet: Es erklärt die Perspektive einer Institution, die an Umsetzung und Kommunikation des AI Act beteiligt ist. Vergleiche seine Botschaft mit einer unabhängigen Quelle und dem Gesetzestext, bevor Du daraus ein Urteil ableitest.
Das Foto dokumentiert zivilgesellschaftliche Einflussnahme rund um die Entstehung des AI Act im Europäischen Parlament. Governance entsteht also nicht nur in Unternehmen oder Programmcodes, sondern auch durch politische Verfahren, Interessenvertretung, öffentliche Debatte und Gesetzgebung.
Internationale Perspektive
Die UNESCO verabschiedete 2021 ihre Empfehlung zur Ethik der Künstlichen Intelligenz. Sie betont unter anderem Menschenrechte, Fairness, Transparenz, Verantwortung und menschliche Aufsicht. Der Europarat öffnete 2024 das Rahmenübereinkommen über KI, Menschenrechte, Demokratie und Rechtsstaatlichkeit zur Unterzeichnung. Beide Beispiele zeigen: KI-Governance ist eine internationale Aufgabe, aber Instrumente unterscheiden sich in ihrer rechtlichen Verbindlichkeit.
Historischer Quellenhinweis: Diese Karte bildet einen Stand von 2019 ab und ist ausdrücklich keine aktuelle Weltkarte. Nutze sie als historische Momentaufnahme: Schon vor heutigen KI-Gesetzen veröffentlichten Institutionen in vielen Ländern Leitlinien. Vergleiche die Karte mit der Gegenwart und frage, wie schnell sich Governance-Landschaften verändern können.
Realistische Anwendungssituation: Soll die Schule das KI-System einsetzen?
Fall „FörderNavigator“ – fiktiv, aber realitätsnah:
Eine weiterführende Schule möchte ein KI-System testen. Es soll aus Leistungsdaten, Abgabezeiten, Fehlzeiten und Ergebnissen kurzer Lernstandschecks berechnen, welche Schülerinnen und Schüler zusätzliche Förderung benötigen könnten. Die Schulleitung erhofft sich frühere Unterstützung und weniger Verwaltungsaufwand. Lehrkräfte befürchten zusätzliche Warnmeldungen und „Automation Bias“, also die Tendenz, maschinellen Empfehlungen zu viel Gewicht zu geben. Schülerinnen und Schüler sorgen sich um Stigmatisierung und falsche Daten. Eltern wünschen frühe Hilfe, aber nachvollziehbare Entscheidungen. Der Anbieter verweist auf eine Gesamtgenauigkeit von 86 Prozent. Die Datenschutzbeauftragte fragt nach Datenminimierung, Speicherfristen und Zugriffsrechten. Die Schulkonferenz muss entscheiden, ob und unter welchen Bedingungen ein Pilot startet.
Stakeholder:
- Schülervertretung: Schutz vor Stigmatisierung, echte Mitsprache, verständliche Information und Widerspruch.
- Lehrkraft: brauchbare Hinweise, geringe Zusatzlast, fachliche Entscheidungshoheit.
- Schulleitung: bessere Förderung, Organisation, Kosten und Verantwortung.
- Elternvertretung: Sicherheit, Transparenz und faire Chancen.
- Datenschutzbeauftragte: Zweckbindung, Datenminimierung und rechtmäßige Verarbeitung.
- Softwareanbieter: funktionsfähiges Produkt, Schutz legitimer Geschäftsinteressen, Support.
- Schulaufsicht: Rechtmäßigkeit, Qualität, Gleichbehandlung und Rechenschaft.
Entscheidungsauftrag in fünf Schritten
Schritt 1 – Systemgrenze zeichnen: Zeichne Pfeile von Datenquellen über Modell, Benutzeroberfläche und Lehrkraft bis zur Förderentscheidung. Markiere, wo Menschen eingreifen können.
Schritt 2 – Evidenz verlangen: Die Aussage „86 Prozent genau“ reicht nicht. Fordere mindestens Informationen zu Fehlerarten, Testpopulation, Gruppenunterschieden, Datenaktualität, Unsicherheit und Bedingungen, unter denen das System schlechter funktioniert.
Schritt 3 – Folgen abschätzen: Notiere je zwei mögliche Vorteile und Schäden. Prüfe besonders, wer von Fehlern stärker betroffen sein könnte.
Schritt 4 – Governance-Bedingungen formulieren: Formuliere Bedingungen für einen Pilot, zum Beispiel begrenzter Zweck, minimale Daten, keine automatische Förderentscheidung, verständliche Information, dokumentierte Übersteuerung, Beschwerdeweg, regelmäßige Evaluation und Stopprecht.
Schritt 5 – Urteil schreiben: Entscheide zwischen nicht einsetzen, nur unter Bedingungen pilotieren oder einsetzen. Begründe Dein Urteil so, dass eine Person mit anderer Position nachvollziehen kann, welche Werte, Daten und Unsicherheiten Du berücksichtigt hast.
Beispiel für ein Governance-Minimum im Pilotbetrieb
Die Tabelle ist keine fertige Musterentscheidung, sondern ein Prüfraster. Jede Bedingung muss am konkreten Fall begründet, angepasst oder verworfen werden.
| Bereich | Mindestanforderung | Prüfbare Evidenz |
|---|---|---|
| Zweck | Nur Unterstützung erkennen, keine automatische Benotung | Schriftlich festgelegter Einsatzzweck |
| Daten | Nur für den Zweck notwendige und geprüfte Daten | Dateninventar und Löschfristen |
| Menschliche Kontrolle | Lehrkraft prüft und darf Empfehlung verwerfen | dokumentierte Entscheidungsregel |
| Betroffenenrechte | Information, Rückfrage und menschliche Neubewertung | verständlicher Hinweis und Beschwerdeweg |
| Fairness | Fehlerquoten für relevante Gruppen untersuchen | Evaluationsbericht |
| Sicherheit | Rollenbasierte Zugriffe und Vorfallsmeldung | Zugriffsprotokolle und Incident-Prozess |
| Monitoring | Regelmäßige Prüfung nach Einführung | festgelegte Kennzahlen und Review-Termine |
| Ausstieg | Nutzung kann bei Problemen pausiert werden | benannte verantwortliche Stelle mit Stopprecht |
Fächerübergreifende Bezüge
| Fach | Beitrag zum Thema | Möglicher Arbeitsauftrag |
|---|---|---|
| Informatik | Daten, Modelle, Schnittstellen, Logs, Systemlebenszyklus | Zeichne das sozio-technische System und markiere Kontrollpunkte |
| Mathematik | Prozentrechnung, Fehlerquoten, Unsicherheit, Vergleich von Gruppen | Berechne Trefferquoten und erkläre, warum 84 Prozent Gesamtgenauigkeit nicht genügt |
| Technik | Sicherheitsdesign, Fail-safe, Wartung, Mensch-Maschine-Schnittstelle | Entwirf einen Stop- und Rückfallmechanismus |
| Deutsch | Argumentation, Quellenkritik, adressatengerechte Erklärung | Schreibe eine begründete Entscheidung für die Schulkonferenz |
| Wirtschaft | Kosten, Anreize, Beschaffung, Haftungs- und Reputationsrisiken | Analysiere, welche Interessen Anbieter und Schule verfolgen |
| Geschichte | Wandel gesellschaftlicher Regeln bei neuen Technologien | Vergleiche historische Technikregulierung mit heutiger KI-Governance und benenne Grenzen des Vergleichs |
| Ethik | Autonomie, Gerechtigkeit, Verantwortung, Menschenwürde | Begründe, welche Werte im Fall kollidieren |
| Gemeinschaftskunde | Grundrechte, Rechtsstaat, Beteiligung, Institutionen | Ordne Stakeholdern Rechte, Pflichten und Kontrollmöglichkeiten zu |
Typische Fehlvorstellungen korrigieren
| Fehlvorstellung | Korrektur |
|---|---|
| „Governance ist nur Gesetzgebung.“ | Gesetze sind ein Teil. Auch Rollen, Prüfungen, Beschaffung, technische Kontrollen, Dokumentation und Beschwerdewege gehören dazu. |
| „Wenn ein Mensch am Ende klickt, ist die Entscheidung menschlich.“ | Nur wenn der Mensch versteht, prüfen kann, Zeit hat und real überstimmen oder stoppen darf, ist Aufsicht wirksam. |
| „Hohe Genauigkeit bedeutet automatisch Fairness.“ | Gesamtwerte können unterschiedliche Fehlerquoten und ungleiche Folgen verdecken. |
| „Transparenz heißt, den gesamten Quellcode zu veröffentlichen.“ | Transparenz ist adressatenbezogen. Betroffene benötigen andere Informationen als Prüfer oder Entwickler. |
| „Die KI trägt Verantwortung, weil sie die Empfehlung erzeugt.“ | Verantwortung bleibt bei Menschen und Organisationen, die Ziele, Einsatz und Entscheidungen bestimmen. |
| „Ein einmal getestetes System bleibt gut.“ | Daten, Nutzung und Umgebung ändern sich. Deshalb braucht es Monitoring und erneute Evaluation. |
| „Mehr Daten machen ein System immer besser.“ | Zusätzliche Daten können irrelevant, verzerrt, rechtswidrig oder unnötig eingriffsintensiv sein. |
Nutze die Grafik nun ein zweites Mal als Selbstprüfung: Kannst Du zu jeder Station ein Beispiel aus dem Schulfall nennen? Wenn nicht, markiere genau die Station, die Du noch klären musst.
Interaktive Aufgaben
Quiz: Teste Dein Wissen
Eine Schule nutzt KI nur als Empfehlungssystem. Wann ist menschliche Aufsicht am wirksamsten? (Die Lehrkraft erhält Gründe und Unsicherheit, darf überstimmen und kann den Einsatz stoppen) (!Die Lehrkraft muss jede Empfehlung bestätigen, darf sie aber nicht verändern) (!Die Lehrkraft sieht nur einen Prozentwert und klickt auf OK) (!Die Lehrkraft erfährt erst nach der Entscheidung, dass KI beteiligt war)
Ein System erreicht insgesamt 90 Prozent Genauigkeit, übersieht aber eine bestimmte Gruppe besonders häufig. Was folgt für die Governance? (Die Gruppenunterschiede und Folgen müssen zusätzlich untersucht werden) (!Die Gesamtgenauigkeit beweist bereits Fairness) (!Das System muss ohne weitere Prüfung automatisch verboten werden) (!Nur die Rechenzeit des Modells muss verbessert werden)
Welche Aussage beschreibt KI-Governance am besten? (Regeln, Rollen, Verfahren, Kontrollen und Nachweise steuern den verantwortlichen KI-Einsatz) (!Nur die Programmierung des KI-Modells gehört zur Governance) (!Governance ist ausschließlich ein anderes Wort für Datenschutz) (!Governance beginnt erst, wenn ein System einen Fehler gemacht hat)
Ein Anbieter nennt nur eine Gesamtgenauigkeit. Welche zusätzliche Information ist für eine verantwortliche Entscheidung besonders wichtig? (Fehlerarten, Testbedingungen und mögliche Unterschiede zwischen relevanten Gruppen) (!Die Farbe des Firmenlogos) (!Die Zahl der Werbeanzeigen des Anbieters) (!Die Länge des Produktnamens)
Wann stärkt ein Beschwerdeweg Human Agency? (Wenn Betroffene eine echte menschliche Neubewertung und Korrektur erreichen können) (!Wenn Beschwerden nur gesammelt, aber nie bearbeitet werden) (!Wenn nur das KI-System seine eigene Entscheidung überprüft) (!Wenn Betroffene keine Begründung erhalten dürfen)
Warum gehört ein Stopprecht zur guten Governance? (Weil ein System bei unerwarteten Risiken oder Qualitätsproblemen pausiert werden können muss) (!Weil jedes KI-System nach einem festen Zeitraum gelöscht werden muss) (!Weil menschliche Entscheidungen grundsätzlich fehlerfrei sind) (!Weil Monitoring dadurch überflüssig wird)
Welche Frage gehört am ehesten zur Folgenabschätzung? (Wer könnte durch vorhersehbare Fehler besonders betroffen sein und welche Schutzmaßnahme hilft) (!Welche Schriftart nutzt die Benutzeroberfläche) (!Wie viele Buchstaben hat der Modellname) (!Welches Werbevideo wurde zuerst veröffentlicht)
Eine Lehrkraft übernimmt KI-Empfehlungen fast immer, weil sie unter Zeitdruck steht. Welches Problem zeigt der Fall? (Scheinbare Aufsicht kann durch Arbeitsbedingungen zu Automation Bias führen) (!Zeitdruck verbessert automatisch die Erklärbarkeit) (!Menschliche Beteiligung schließt Fehlentscheidungen aus) (!Die Genauigkeit des Systems wird dadurch mathematisch größer)
Welche Aussage zu Transparenz ist am überzeugendsten? (Transparenz muss zur Rolle passen und relevante Informationen verständlich zugänglich machen) (!Transparenz bedeutet immer die vollständige Veröffentlichung aller Daten) (!Transparenz ersetzt jede Evaluation) (!Transparenz ist nur für Entwickler wichtig)
Eine neue KI-Anwendung soll bewertet werden. Was ist ein sinnvoller erster Governance-Schritt? (Zweck, Betroffene, Systemgrenze und Entscheidungskontext klären) (!Zuerst automatisch alle verfügbaren Daten sammeln) (!Zuerst die KI entscheiden lassen und danach Regeln schreiben) (!Zuerst nur die schnellste Software auswählen)
Memory
| Human Agency | Wirksame Handlungs- und Einflussmöglichkeiten betroffener Menschen |
| Menschliche Aufsicht | Kompetente Prüfung mit realer Möglichkeit zum Eingreifen |
| Accountability | Klar zuordenbare Rechenschaft und Verantwortung |
| Audit Trail | Nachvollziehbare Protokollspur wichtiger Systemereignisse |
| Folgenabschätzung | Systematische Prüfung möglicher Auswirkungen vor und während des Einsatzes |
| Redress | Beschwerde, Neubewertung und Korrekturmöglichkeit |
| Fairness | Vermeidung sachlich nicht gerechtfertigter Benachteiligung |
| Monitoring | Laufende Beobachtung von Qualität und Risiken im Betrieb |
Drag and Drop
| Ordne die richtigen Begriffe zu. | Thema |
|---|---|
| Zweck und Systemgrenze festlegen | Systemdesign |
| Fehlerarten und Gruppenunterschiede prüfen | Evaluation |
| Mögliche Wirkungen auf Betroffene untersuchen | Folgenabschätzung |
| Stopprecht und Zuständigkeit festlegen | Governance |
| Beschwerde und menschliche Neubewertung ermöglichen | Human Agency |
...
Kreuzworträtsel
| Governance | Wie heißt die Gesamtheit aus Regeln, Rollen, Verfahren und Kontrollen für verantwortlichen KI-Einsatz? |
| Aufsicht | Welches Wort bezeichnet die wirksame menschliche Kontrolle eines Systems? |
| Fairness | Welcher Begriff steht für die Vermeidung sachlich nicht gerechtfertigter Benachteiligung? |
| Monitoring | Wie heißt die laufende Beobachtung eines Systems im Betrieb? |
| Transparenz | Welcher Begriff meint verständliche und angemessene Nachvollziehbarkeit? |
| Widerspruch | Welches Wort bezeichnet eine Möglichkeit, eine Entscheidung anzufechten? |
LearningApps
Lückentext
Selbstkontrolle: Governance-Check in 60 Sekunden
Wähle einen neuen KI-Fall, zum Beispiel automatische Übersetzung, Bewerberauswahl, Gesichtserkennung am Schuleingang, medizinische Diagnosehilfe oder KI-gestützte Verkehrssteuerung. Beantworte ohne Hilfsmittel:
- Was ist der genaue Zweck?
- Wer ist betroffen?
- Welche Fehler wären besonders schädlich?
- Welche Information braucht ein Mensch zur Kontrolle?
- Wie kann eine betroffene Person widersprechen?
- Wer überwacht das System nach der Einführung?
- Wer darf den Einsatz stoppen?
Selbstbewertung: Wenn Du zu allen sieben Fragen konkrete, fallbezogene Antworten geben kannst, hast Du die Governance-Idee verstanden. Wenn Deine Antworten nur „der Entwickler“ oder „die KI“ lauten, prüfe noch einmal Rollen, Organisation und Human Agency.
Reflexion
Positioniere Dich: „Je wichtiger eine Entscheidung ist, desto weniger sollte KI daran beteiligt sein.“
Schreibe vier bis sechs Sätze. Vermeide ein einfaches Ja oder Nein. Unterscheide mindestens zwischen:
- Art der KI-Unterstützung,
- Schwere möglicher Folgen,
- Qualität menschlicher Kontrolle,
- Rechten und Beschwerdemöglichkeiten,
- Nutzen einer sinnvollen Unterstützung.
Ziel ist kein vorgegebenes Ergebnis, sondern eine begründete Abwägung.
Transfer: Ein unbekannter Fall
Eine Stadt möchte ein KI-System einsetzen, das Schlaglöcher auf Straßenbildern erkennt und Reparaturen priorisiert. Das klingt zunächst harmloser als eine Bildungs- oder Personalentscheidung. Übertrage trotzdem das Governance-Schema:
- Welche Datenquellen könnten systematisch bestimmte Stadtteile schlechter abbilden?
- Was passiert, wenn ein Gebiet seltener erfasst wird?
- Welche Kennzahl wäre neben Gesamtgenauigkeit wichtig?
- Wer kann melden, dass eine Priorisierung falsch ist?
- Welche menschliche Stelle bleibt verantwortlich?
- Welche Entscheidung dürfte automatisiert werden und welche nicht?
- Welche Evidenz würdest Du nach drei Monaten Pilotbetrieb verlangen?
Transferziel: Du sollst erkennen, dass Governance nicht an einem bestimmten Produkt hängt. Die gleichen Denkwerkzeuge – Zweck, Stakeholder, Evidenz, Folgen, Kontrolle, Rechte, Monitoring und Verantwortung – lassen sich auf neue Fälle übertragen.
Offene Aufgaben
Leicht
- Governance-Skizze: Zeichne für einen alltäglichen KI-Fall Daten, Modell, Mensch, Entscheidung und Beschwerdeweg als Systemkarte.
- Fehlvorstellungen: Wähle zwei typische Fehlvorstellungen aus dem Kurs und erfinde je ein Gegenbeispiel, das die Korrektur verständlich macht.
- Quellencheck: Vergleiche ein Erklärvideo und eine offizielle Quelle zum gleichen KI-Thema nach Autor, Ziel, Aktualität und belegten Aussagen.
- Stakeholder-Porträt: Schreibe aus Sicht eines betroffenen Jugendlichen fünf Anforderungen an ein faires KI-System.
Standard
- Fairness-Analyse: Erfinde einen kleinen Datensatz mit zwei Testgruppen und zeige, wie eine gute Gesamtquote ein Gruppenproblem verdecken kann.
- Human-Agency-Design: Entwirf eine Benutzeroberfläche, in der ein Mensch eine KI-Empfehlung prüfen, zurückweisen, begründen und eskalieren kann.
- Governance-Verhandlung: Verteilt die Rollen Schülervertretung, Lehrkraft, Schulleitung, Datenschutz, Anbieter und Eltern und handelt fünf Pilotbedingungen aus.
- Beschaffungscheck: Formuliere zehn Fragen, die eine Schule einem KI-Anbieter vor einem Kauf stellen sollte, und ordne sie nach Wichtigkeit.
Schwer
- Folgenabschätzung: Führe für ein KI-System in Bildung, Medizin oder Verwaltung eine strukturierte Folgenabschätzung mit Nutzen, Risiken, Rechten, Alternativen und Schutzmaßnahmen durch.
- Evaluationsplan: Entwickle einen Testplan mit mindestens drei Leistungskennzahlen, zwei Fairnessfragen, einem Sicherheitskriterium und klaren Stopbedingungen.
- Governance-Vergleich: Vergleiche gesetzliche Regulierung, technische Standards und interne Organisationsregeln. Zeige an einem Fall, warum kein Instrument allein genügt.
- Transfergutachten: Beurteile einen unbekannten KI-Fall auf einer Seite. Trenne Fakten, Annahmen, Werteabwägung und Entscheidung und kennzeichne Unsicherheiten ausdrücklich.
|
|
_issuing_AI_guidelines.png){kind=link}
Lernkontrolle
- Systemanalyse: Ein Unternehmen möchte KI zur Vorauswahl von Ausbildungsbewerbungen einsetzen. Zeichne das sozio-technische System und benenne drei Stellen, an denen Governance-Entscheidungen die Ergebnisse verändern können.
- Evidenzbewertung: Ein Anbieter wirbt mit 94 Prozent Genauigkeit. Erkläre, welche zusätzlichen Informationen Du brauchst, bevor Du über einen Einsatz entscheidest, und begründe jede Forderung.
- Werteabwägung: In einem KI-System erhöht ein niedriger Schwellenwert die Trefferquote, aber auch die Zahl falscher Warnungen. Entwickle eine begründete Entscheidung für einen konkreten Einsatzkontext.
- Human Agency: Beurteile zwei Varianten menschlicher Kontrolle: bloßes Bestätigen gegenüber einer Prüfung mit Begründung, Übersteuerung und Beschwerdeweg. Zeige, warum die Unterschiede praktisch relevant sind.
- Folgenabschätzung: Übertrage das Governance-Raster auf ein KI-System zur Priorisierung kommunaler Reparaturen. Identifiziere mindestens einen indirekten Fairness-Effekt.
- Verantwortungsurteil: Nach einer Fehlentscheidung verweisen Betreiber, Anbieter und Fachperson jeweils auf die anderen. Entwickle eine Rollenverteilung, die solche Verantwortungslücken schon vor dem Einsatz reduziert.
Lernnachweis
Für einen überzeugenden Lernnachweis zu KI-Governance verstehen solltest Du zeigen, dass Du:
- die Grundidee von KI-Governance korrekt in eigenen Worten erklären kannst,
- ein KI-System als sozio-technisches System mit Daten, Technik, Menschen und Organisation analysierst,
- Stakeholder und ihre unterschiedlichen Interessen erkennst,
- Evaluationsergebnisse mit Fehlerarten und Folgen statt nur mit einer Gesamtquote bewertest,
- wirksame menschliche Aufsicht von bloßer Scheinaufsicht unterscheiden kannst,
- Grundrechte und Werte in einer Entscheidung sichtbar abwägst,
- Verantwortung und Beschwerdewege konkret zuordnest,
- eine Folgenabschätzung auf einen neuen Fall überträgst,
- Quellen nach Aktualität, Interessenlage und Belegqualität prüfst,
- Unsicherheiten offen benennst und trotzdem ein nachvollziehbares Urteil formulierst,
- typische Fehlvorstellungen begründet korrigierst.
Quellen und frei nutzbare Medien
Die im Kurs eingebetteten Wikimedia-Commons-Medien besitzen jeweils eigene freie Lizenzangaben auf ihren Dateiseiten. Prüfe bei Weiterverwendung immer die konkrete Lizenz und die erforderliche Namensnennung.
Verlässliche Ausgangsquellen für aktuelle Regeln und Prinzipien:
- Europäische Kommission: AI Act und Anwendungszeitplan
- EUR-Lex: Verordnung EU 2024/1689
- UNESCO: Recommendation on the Ethics of Artificial Intelligence
- Europarat: Framework Convention on Artificial Intelligence
Medienhinweis: YouTube-Videos können anderen Nutzungsbedingungen unterliegen als Commons-Dateien. Für eigene Bearbeitungen oder Wiederveröffentlichungen sind deshalb die jeweiligen Rechte gesondert zu prüfen.
OERs zum Thema
Verknüpfte Lernbereiche