Künstliche Intelligenz kann Texte erzeugen, Bewerbungen vorsortieren, Lernstände schätzen, Bilder verändern oder Entscheidungen vorbereiten. Sobald solche Systeme Menschen betreffen, entstehen zwei verschiedene, aber eng miteinander verbundene Fragen: Was ist rechtlich erlaubt, verboten oder vorgeschrieben? Und: Was ist ethisch verantwortbar, fair und menschenwürdig?
Genau diese Unterscheidung ist der Kern dieses Lernkurses. Du lernst nicht nur Begriffe auswendig, sondern übst, reale KI-Situationen zu analysieren, verschiedene Stakeholder einzubeziehen, Zielkonflikte sichtbar zu machen und nachvollziehbare Urteile zu begründen. Dabei geht es besonders um menschliche Handlungsfähigkeit, Grundrechte, Fairness, Transparenz, Datenschutz, wirksame menschliche Kontrolle, Governance und Folgenabschätzung.
Zentrale Idee: KI-Recht und KI-Ethik sind nicht dasselbe. Recht legt verbindliche Regeln und Mindestanforderungen fest. Ethik fragt darüber hinaus, welche Ziele, Werte und Folgen verantwortbar sind. Recht kann ethische Werte aufnehmen, etwa Menschenwürde oder Gleichbehandlung. Ethische Überlegungen dürfen aber geltendes Recht nicht einfach außer Kraft setzen.
Hinweis: Dieser Lernkurs vermittelt Orientierung und Urteilskompetenz. Er ersetzt keine individuelle Rechtsberatung. Bei echten schulischen oder beruflichen Entscheidungen muss der jeweils aktuelle Rechtsstand geprüft werden.
Lernziele und Kompetenzen
Nach diesem Kurs kannst Du:
KI-Recht und KI-Ethik in eigenen Worten unterscheiden und erklären, warum beide Perspektiven gebraucht werden.
bei neuen Fällen erkennen, welche Fragen rechtlich und welche ethisch sind.
typische Fehlvorstellungen korrigieren, zum Beispiel „Wenn etwas legal ist, ist es automatisch fair“ oder „Wenn ein Mensch am Ende klickt, ist die menschliche Kontrolle gesichert“.
ein KI-System als sozio-technisches System betrachten: Zweck, Daten, Modell, Benutzeroberfläche, menschliche Entscheidung und Folgen gehören zusammen.
Qualität nicht nur über Genauigkeit, sondern auch über Fehlerarten, Gruppenunterschiede, Sicherheit und Fairness bewerten.
Stakeholder, Interessen, Machtverhältnisse und mögliche Grundrechtsfolgen sichtbar machen.
Maßnahmen für Systemdesign, Evaluation, Governance und Beschwerdemöglichkeiten entwerfen.
ein begründetes Urteil formulieren und auf neue KI-Fälle übertragen.
Unterrichtsfahrplan für 45 bis 90 Minuten
Phase
Kernzeit
Vertiefungszeit
Ziel
Aktivierung und Diagnose
5 Minuten
10 Minuten
Vorwissen und spontane Urteile sichtbar machen
Verständliche Einführung
10 Minuten
15 Minuten
Recht und Ethik unterscheiden
System- und Bewertungsblick
10 Minuten
15 Minuten
Systemdesign, Fairness und menschliche Kontrolle untersuchen
Fall „LernRadar“
15 Minuten
25 Minuten
Stakeholder, Recht, Ethik und Zielkonflikte abwägen
Selbstkontrolle und Transfer
5 Minuten
15 Minuten
neues Beispiel beurteilen und Fehlvorstellungen korrigieren
Für eine einzelne Unterrichtsstunde konzentrierst Du Dich auf Einleitung, Grundidee, Entscheidungswerkzeug, Fall „LernRadar“ und Selbstkontrolle. Für eine Doppelstunde kommen Evaluation, Governance, fächerübergreifende Aufgaben und Transferfälle hinzu.
Aktivierung und Diagnose
Ordne zunächst spontan jede Aussage einer Kategorie zu: vor allem Recht, vor allem Ethik, beides oder noch unklar. Begründe jeweils mit einem Satz. Es geht zunächst nicht darum, sofort „richtig“ zu liegen.
Aussage
Deine erste Einordnung
Begründung
Eine Schule muss prüfen, ob sie personenbezogene Daten für ein KI-System verarbeiten darf.
Eine KI erreicht 92 Prozent Genauigkeit, benachteiligt aber eine bestimmte Gruppe deutlich häufiger.
Ein Unternehmen muss bestimmte gesetzliche Informationspflichten erfüllen.
Eine technisch mögliche Funktion erzeugt starken sozialen Druck auf Lernende.
Ein Mensch bestätigt jede KI-Empfehlung, hat aber nur drei Sekunden Zeit und keine Möglichkeit, sie zu ändern.
Ein KI-generiertes Video ist korrekt gekennzeichnet, verletzt aber trotzdem die Würde einer dargestellten Person.
Notiere anschließend eine Vermutung: Welche Aussage zeigt am deutlichsten, dass Recht und Ethik nicht identisch sind?
Grundidee: KI-Recht und KI-Ethik
Was ist KI-Recht?
KI-Recht ist kein einzelnes Gesetz. Gemeint ist die Gesamtheit rechtlicher Regeln, die Entwicklung, Bereitstellung und Nutzung von KI betreffen können. Dazu gehören je nach Fall beispielsweise die europäische KI-Verordnung, Datenschutzrecht, Grundrechte, Urheberrecht, Vertragsrecht, Haftungsrecht, Arbeitsrecht, Schulrecht oder Regeln gegen Diskriminierung.
Recht beantwortet Fragen wie: Wer darf was? Wer muss was tun? Was ist verboten? Welche Rechte haben Betroffene? Welche Behörde oder welches Gericht kann Regeln durchsetzen? Welche Folgen kann ein Verstoß haben?
Merksatz: Recht setzt verbindliche Grenzen, Pflichten, Verfahren und Rechte.
Was ist KI-Ethik?
KI-Ethik gehört zur angewandten Ethik. Sie untersucht, welche Ziele, Werte, Folgen und Formen des KI-Einsatzes moralisch begründbar und gesellschaftlich verantwortbar sind. Dabei geht es zum Beispiel um Menschenwürde, Autonomie, Gerechtigkeit, Fairness, Schadensvermeidung, Teilhabe, Verantwortung, Nachhaltigkeit und Vertrauen.
Ethische Urteile sind nicht einfach persönliche Vorlieben. Gute ethische Urteile nennen Werte, berücksichtigen Betroffene, prüfen Gegenargumente und machen Zielkonflikte sichtbar.
Die UNESCO-Empfehlung zur Ethik der Künstlichen Intelligenz betont unter anderem Menschenrechte und Menschenwürde, Fairness, Transparenz, Verantwortung, Sicherheit, Datenschutz, Nachhaltigkeit und menschliche Aufsicht. Sie ist ein internationales normatives Orientierungsinstrument. Sie ist nicht dasselbe wie eine unmittelbar durchsetzbare EU-Verordnung.
Ein System darf rechtliche Grenzen nicht unterschreiten.
Ein rechtlich erlaubtes System kann trotzdem ethisch problematisch sein.
Verhältnis
Recht kann ethische Werte aufnehmen.
Ethik kann zeigen, wo Recht ergänzt, verbessert oder verantwortungsvoller umgesetzt werden sollte.
Kurzform: Recht fragt oft zuerst „Dürfen oder müssen wir?“. Ethik ergänzt „Sollten wir – und wenn ja, wie?“
Warum beide Ebenen zusammengehören
Ein KI-System kann rechtlich zulässig sein und trotzdem unfair gestaltet werden. Umgekehrt kann ein Ziel ethisch wünschenswert sein, etwa Lernende individuell zu unterstützen, aber eine konkrete Umsetzung kann gegen Datenschutz- oder Transparenzpflichten verstoßen.
Deshalb ist eine verantwortliche Entscheidung zweistufig:
Rechtsprüfung: Welche verbindlichen Regeln, Rechte und Verfahren sind relevant?
Ethikprüfung: Welche Werte, Schäden, Verteilungswirkungen, Machtfragen und Zielkonflikte bleiben auch dann bestehen?
Eine ethische Begründung ersetzt keine Rechtsprüfung. Eine bloße Rechtskonformität ersetzt keine ethische Begründung.
Rechtsrahmen für KI: Orientierung statt Paragrafenlernen
Die EU-KI-Verordnung als Beispiel
Die Verordnung über künstliche Intelligenz der Europäischen Union, oft AI Act oder KI-Verordnung genannt, verfolgt einen risikobasierten Ansatz. Je nach Art und Verwendung eines KI-Systems gelten unterschiedliche Anforderungen. Bestimmte Praktiken sind verboten, für bestimmte Hochrisiko-Anwendungen gelten besondere Pflichten, und für bestimmte KI-Systeme bestehen Transparenzanforderungen.
Rechtsstand dieses Kurses: September 2026. Die KI-Verordnung trat am 1. August 2024 in Kraft. Erste Regeln, darunter Vorgaben zu verbotenen KI-Praktiken und KI-Kompetenz, gelten seit 2. Februar 2025. Große Teile des Rechtsrahmens gelten seit 2. August 2026; für einzelne Hochrisiko-Regeln bestehen spätere Übergangsfristen. Deshalb gehört zu guter KI-Kompetenz auch: Aktuellen Rechtsstand prüfen, statt sich auf alte Zusammenfassungen zu verlassen.
Für die Schule besonders wichtig ist die Idee, dass bestimmte KI-Anwendungen im Bildungsbereich als hochriskant eingestuft sein können, wenn sie zum Beispiel über Zugang, Einstufung oder die Bewertung von Lernergebnissen mitentscheiden. Ob ein konkretes System darunter fällt, hängt von Zweck und Ausgestaltung ab.
Wer trägt Verantwortung, wenn durch Entwicklung oder Nutzung ein Schaden entsteht?
Eine Organisation verlässt sich ungeprüft auf eine falsche KI-Ausgabe.
Wichtig: Dass ein KI-System nicht unter eine bestimmte Spezialregel der KI-Verordnung fällt, bedeutet nicht, dass „kein Recht gilt“. Andere Rechtsgebiete können trotzdem einschlägig sein.
Transparenz ist mehr als ein Etikett
Seit August 2026 gelten nach der KI-Verordnung unter anderem Transparenzpflichten für bestimmte KI-Systeme und bestimmte KI-generierte oder manipulierte Inhalte. Aber auch ethisch ist Transparenz breiter zu verstehen: Betroffene sollten wissen können, dass KI beteiligt ist, wozu sie eingesetzt wird, welche Folgen daraus entstehen und an wen sie sich bei Problemen wenden können.
Transparenz bedeutet nicht automatisch, den gesamten Quellcode offenzulegen. Je nach Kontext kann eine sinnvolle Erklärung wichtiger sein: Welche Datenarten wurden genutzt? Welche Faktoren beeinflussen das Ergebnis? Wie sicher ist die Aussage? Wer überprüft sie? Wie kann man widersprechen?
Human Agency bedeutet, dass Menschen nicht zu passiven Empfängern algorithmischer Entscheidungen werden. Sie sollen handlungsfähig bleiben: verstehen, nachfragen, Alternativen wählen, widersprechen und Folgen beeinflussen können.
Menschliche Kontrolle ist nur dann wirksam, wenn die kontrollierende Person:
ausreichend Informationen über die KI-Ausgabe erhält,
genügend Zeit zur Prüfung hat,
fachlich kompetent ist,
die Empfehlung tatsächlich ändern oder verwerfen darf,
nicht durch automatische Voreinstellungen oder Leistungsdruck zum Abnicken gedrängt wird,
weiß, wofür sie verantwortlich ist,
bei Unsicherheit eskalieren oder das System stoppen kann.
Ein Mensch, der nur auf „Bestätigen“ klicken darf, ist noch keine sinnvolle menschliche Aufsicht.
Das Video kann als Vertiefung genutzt werden. Achte beim Anschauen darauf, welche Begriffe rechtlich klingen und welche als ethische Prinzipien formuliert werden.
Das Entscheidungswerkzeug: Recht plus Ethik
Nutze für neue Fälle die folgende Doppelprüfung. Sie verhindert, dass Du nur auf Technik oder nur auf abstrakte Werte schaust.
Schritt
Leitfragen
Ergebnis
1. Zweck klären
Welches Problem soll die KI lösen? Ist KI dafür überhaupt nötig?
klare Zielbeschreibung und mögliche Alternative ohne KI
2. Stakeholder bestimmen
Wer profitiert? Wer trägt Risiken? Wer hat Macht? Wer kann widersprechen?
Stakeholder- und Machtkarte
3. Recht prüfen
Welche Gesetze, Rechte, Pflichten, Verbote und Verfahren könnten gelten?
Rechtsfragen und offene Punkte
4. Werte abwägen
Welche Werte stehen im Konflikt? Welche Gruppen könnten benachteiligt werden?
begründete Ethikabwägung
5. System und Folgen prüfen
Welche Daten, Fehler, Anreize und Nebenwirkungen entstehen?
Risiko- und Folgenabschätzung
6. Kontrolle und Governance gestalten
Wer entscheidet, überwacht, dokumentiert, stoppt und bearbeitet Beschwerden?
verantwortlicher Prozess mit Human Agency
Urteilsformel: „Wir empfehlen ... , weil ... . Rechtlich muss besonders ... geprüft werden. Ethisch wiegt ... schwerer als ... . Das größte Risiko ist ... . Deshalb sichern wir menschliche Kontrolle durch ... . Nach ... wird die Entscheidung erneut überprüft.“
Systemdesign, Evaluation und Governance
Systemdesign: Nicht nur das Modell betrachten
Ein KI-System ist ein sozio-technisches System. Nicht nur der Algorithmus entscheidet über die Wirkung. Auch Datenquellen, Schwellenwerte, Benutzeroberfläche, Arbeitsdruck, organisatorische Regeln und Beschwerdewege verändern das Ergebnis.
engen Zweck festlegen und Zweckänderungen neu prüfen
Daten
Sind die Daten relevant, aktuell und ausreichend repräsentativ?
Datenminimierung und Qualitätsprüfung
Modell
Welche Fehlerarten treten auf?
Tests, Vergleichsmodelle und Unsicherheitsangaben
Benutzeroberfläche
Verführt die Darstellung zum blinden Vertrauen?
Unsicherheit sichtbar machen und Begründungsfelder vorsehen
Menschliche Entscheidung
Kann eine Person die Ausgabe wirklich ändern?
Override, Vier-Augen-Prinzip und Eskalationsweg
Organisation
Wer trägt Verantwortung?
Rollen, Dokumentation und Beschwerdeweg
Monitoring
Werden neue Fehler nach Einführung erkannt?
regelmäßige Evaluation und Stop-Kriterien
Evaluation: Hohe Genauigkeit reicht nicht
Stell Dir ein System vor, das Lernende markiert, bei denen ein erhöhtes Risiko für einen Kursabbruch vermutet wird. In zwei gleich großen Gruppen mit je 100 Lernenden werden Unbeteiligte fälschlich als „Risikofall“ markiert.
Gruppe
Falsch-positive Markierungen
Quote
Gruppe A
8 von 100
8 Prozent
Gruppe B
20 von 100
20 Prozent
Selbst wenn die Gesamtgenauigkeit des Systems hoch wäre, gäbe es eine deutliche Differenz bei dieser Fehlerart. Für eine Fairnessprüfung musst Du deshalb fragen: Welche Fehler sind besonders schädlich? Welche Gruppen tragen sie? Entstehen daraus Sanktionen, Stigmatisierung oder zusätzliche Unterstützung? Gibt es unterschiedliche Ausgangsbedingungen?
Mathematik-Transfer: Berechne die Differenz der falsch-positiven Quoten. Erkläre anschließend, warum die Differenz allein noch kein vollständiges Fairnessurteil liefert. Du musst auch Kontext, Gruppengröße, Datenqualität, Folgen und mögliche Alternativen berücksichtigen.
Evaluation als Prüfplan
Ein verantwortlicher Prüfplan betrachtet mindestens:
Leistung: Erfüllt das System überhaupt seinen Zweck?
Fehlerarten: Welche falschen positiven und falschen negativen Entscheidungen entstehen?
Gruppenvergleich: Sind Fehler oder Vorteile ungleich verteilt?
Robustheit: Funktioniert das System auch bei veränderten Bedingungen?
Erklärbarkeit: Können relevante Beteiligte Ergebnisse nachvollziehen?
Sicherheit: Was geschieht bei Fehlfunktion oder Missbrauch?
Menschliche Nutzung: Vertrauen Menschen der KI zu stark oder ignorieren sie sinnvolle Warnungen?
Folgen: Verbessert das System die Situation tatsächlich nach Einführung?
Governance: Verantwortung organisieren
Governance bedeutet, Regeln, Rollen und Verfahren so zu gestalten, dass Verantwortung nicht im System verschwindet.
Governance-Frage
Gute Gestaltung
Wer darf das System einsetzen?
klar definierte, geschulte Rollen
Wer ist verantwortlich?
benannte Person oder Institution mit Entscheidungskompetenz
Wer überprüft?
unabhängige oder mindestens organisatorisch getrennte Kontrollfunktion
Wer darf stoppen?
vorab definierte Stop-Befugnis bei Risiken oder Fehlfunktionen
Wie wird dokumentiert?
nachvollziehbare Protokolle über Zweck, Änderungen und wichtige Entscheidungen
Wie können Betroffene widersprechen?
verständlicher und erreichbarer Beschwerdeweg
Wann wird neu bewertet?
feste Prüfintervalle und Ereignisse, die eine sofortige Neubewertung auslösen
Folgenabschätzung: Vorher, währenddessen und danach
Eine Folgenabschätzung ist kein einmaliges Formular. Sie beginnt vor dem Einsatz und begleitet das System.
Zeitpunkt
Leitfrage
Vor dem Einsatz
Welche Rechte, Gruppen, Werte und Risiken könnten betroffen sein?
Im Pilot
Welche tatsächlichen Fehler und unerwarteten Nebenwirkungen treten auf?
Im Betrieb
Verändern sich Daten, Nutzerverhalten oder gesellschaftliche Folgen?
Nach Beschwerden
Zeigen Einzelfälle ein strukturelles Problem?
Bei Systemänderungen
Muss die Folgenabschätzung wegen neuer Funktionen oder Daten neu durchgeführt werden?
Realistische Anwendungssituation: „LernRadar“
Eine fiktive Schule möchte das KI-System LernRadar einführen. Es soll vorhersagen, welche Schülerinnen und Schüler in Mathematik wahrscheinlich Schwierigkeiten bekommen. Das System verarbeitet bisherige Noten, Fehlzeiten, Bearbeitungszeiten in einer Lernplattform und Ergebnisse kurzer Online-Tests.
Die Schulleitung verspricht frühere Unterstützung und weniger Schulabbrüche. Lehrkräfte hoffen, gezielter fördern zu können. Der Anbieter wirbt mit 88 Prozent Gesamtgenauigkeit.
Im Pilotversuch zeigt sich jedoch: Einige Lernende werden häufig fälschlich als „Risikofall“ markiert. In einer Gruppe liegt die falsch-positive Quote bei 8 Prozent, in einer anderen bei 20 Prozent. Außerdem zeigt die Benutzeroberfläche einen roten Warnhinweis, aber keine Unsicherheitsangabe. Lehrkräfte haben im Alltag nur wenig Zeit und übernehmen die Empfehlung meistens. Schülerinnen und Schüler sehen ihren Risikowert nicht. Ein formaler Beschwerdeweg ist nicht vorgesehen.
Geplant ist, dass der Risikowert künftig auch bei Entscheidungen über Förderpflichten und Bildungsempfehlungen berücksichtigt wird.
Automatisierungsbias und zusätzliche Verantwortung
Eltern und Sorgeberechtigte
nachvollziehbare Förderung
fehlende Transparenz und Unsicherheit über Datenverwendung
Schulleitung
Lernerfolg, Ressourcenplanung, Qualität
organisatorische Haftung und Vertrauensverlust
Schulträger
effiziente und sichere Infrastruktur
Kosten, Datenschutz- und Sicherheitsrisiken
Anbieter
funktionierendes Produkt und wirtschaftlicher Erfolg
Interessenkonflikt bei Evaluation
Datenschutz- und Aufsichtsstellen
Schutz von Rechten und regelkonformer Einsatz
zu späte Einbindung
Mitschülerinnen und Mitschüler
gerechte Lernbedingungen
indirekte Auswirkungen durch Ressourcenverteilung
Der Zielkonflikt lautet nicht einfach „KI gut oder schlecht“. Er lautet zum Beispiel: frühe Unterstützung und Effizienz gegen Privatsphäre, Fairness, nachvollziehbare Entscheidungen und Selbstbestimmung.
Deine Fallentscheidung
Entscheide nicht sofort. Arbeite mit der Doppelprüfung.
Zweck: Welches konkrete Problem soll LernRadar lösen? Könnte ein weniger eingriffsintensives Verfahren ähnlich gut helfen?
Recht: Welche Fragen zu Datenschutz, Schulrecht, Grundrechten und KI-Verordnung müssen Fachleute prüfen?
Ethik: Ist die ungleiche Fehlerrate gerechtfertigt? Welche Folgen hat eine falsche Warnung?
Human Agency: Können Lernende den Prozess verstehen, widersprechen und eine menschliche Neubewertung erhalten?
Systemdesign: Welche Oberfläche würde Lehrkräfte weniger zum automatischen Übernehmen verleiten?
Evaluation: Welche Kennzahlen müssen getrennt nach sinnvollen Gruppen untersucht werden?
Governance: Wer darf das System stoppen? Wer bearbeitet Beschwerden? Wer prüft den Anbieter?
Folgenabschätzung: Welche beabsichtigten und unbeabsichtigten Folgen sind nach drei Monaten zu messen?
Vier mögliche Gestaltungsentscheidungen
Bewerte jede Option rechtlich und ethisch. Wähle nicht nur nach Bequemlichkeit.
Option
Beschreibung
Deine Bewertung
A
Vollständige Einführung wie geplant
B
Begrenzter Pilot ohne automatische Förderpflichten, mit Transparenz, menschlicher Neubewertung, Beschwerdeweg und Gruppenmonitoring
C
Nutzung nur für anonymisierte oder aggregierte Klassen-Trends, nicht für individuelle Risikowerte
D
Vorerst kein Einsatz; stattdessen analoges Förderverfahren verbessern und später neu prüfen
Eine gute Entscheidung muss nicht bei allen Gruppen gleich beliebt sein. Entscheidend ist, dass Du Ziel, Rechte, Werte, Daten, Fehler, Kontrolle und Folgen nachvollziehbar abwägst.
Designauftrag: Mache LernRadar verantwortbarer
Entwirf eine verbesserte Version. Lege mindestens fest:
welche Daten wirklich notwendig sind,
welche Ausgaben Lehrkräfte sehen,
wie Unsicherheit dargestellt wird,
wann die KI ignoriert werden muss,
wann eine zweite Person prüft,
wie Lernende informiert werden,
wie Widerspruch funktioniert,
welche Fairnesskennzahlen überwacht werden,
welche Ereignisse zu einem sofortigen Stopp führen,
wann entschieden wird, ob das System weitergenutzt wird.
Transfer auf neue Fälle
Fall 1: KI bei Ausbildungsbewerbungen
Ein mittelständischer Betrieb lässt eine KI Bewerbungen für Ausbildungsplätze vorsortieren. Das System spart Zeit, bewertet aber bestimmte Lebensläufe systematisch schlechter. Die Personalabteilung behauptet: „Die KI diskriminiert nicht, weil sie keine Absicht hat.“
Prüfe: Welche rechtlichen Bereiche könnten relevant sein? Welche ethischen Werte stehen im Konflikt? Warum ist fehlende Absicht kein ausreichendes Fairnessargument? Welche menschliche Kontrolle wäre sinnvoll?
Fall 2: Deepfake zur Schulsprecherwahl
Kurz vor einer Schulsprecherwahl taucht ein KI-generiertes Video auf, in dem eine Kandidatin scheinbar eine beleidigende Aussage macht. Das Video ist klein mit „KI-generiert“ markiert, verbreitet sich aber schnell.
Prüfe: Reicht Kennzeichnung ethisch aus? Welche Rolle spielen Persönlichkeitsrechte, Fairness, Quellenkritik und demokratische Meinungsbildung? Welche Maßnahmen schützen Handlungsfähigkeit, ohne berechtigte Kritik zu unterdrücken?
Fall 3: KI-Schreibassistent im Deutschunterricht
Eine Klasse darf einen KI-Assistenten beim Schreiben einer Erörterung nutzen. Einige Lernende lassen ganze Argumentationsketten erzeugen, andere verwenden das System nur zur Rückmeldung.
Prüfe: Welche Regeln sollten für eine faire Leistung gelten? Welche Lernziele würden durch vollständige Automatisierung geschwächt? Wie kann KI so gestaltet werden, dass sie Denken unterstützt statt ersetzt?
Recht setzt verbindliche Standards. Ethik kann zusätzliche Fragen zu Fairness, Würde, Macht oder Folgen aufwerfen.
„Ethik ist nur Geschmackssache.“
Ethische Urteile brauchen Gründe, Prinzipien, Perspektiven Betroffener und eine nachvollziehbare Abwägung.
„Die KI ist verantwortlich.“
Verantwortung muss Menschen oder Organisationen zurechenbar bleiben. Technik kann Verantwortung nicht einfach übernehmen.
„Hohe Genauigkeit bedeutet Fairness.“
Gesamtgenauigkeit kann ungleiche Fehlerquoten und ungleiche Folgen verdecken.
„Ein Mensch im Prozess garantiert Kontrolle.“
Menschliche Kontrolle braucht Zeit, Information, Kompetenz und echte Änderungsbefugnis.
„Wenn Daten im Internet stehen, darf man sie immer nutzen.“
Zugänglichkeit ersetzt keine Prüfung von Datenschutz, Urheberrecht, Zweckbindung oder Fairness.
„Transparenz heißt, den Quellcode zu veröffentlichen.“
Transparenz muss für die betroffene Situation verständliche und relevante Informationen liefern.
„Wenn der AI Act nicht greift, gibt es keine Regeln.“
Datenschutz, Grundrechte, Schulrecht, Arbeitsrecht, Urheberrecht oder andere Rechtsgebiete können trotzdem gelten.
„Fairness hat nur mit Daten zu tun.“
Auch Zieldefinition, Schwellenwerte, Benutzeroberfläche, Organisation und Beschwerdewege beeinflussen Fairness.
„Ein ethisch gutes Ziel rechtfertigt jedes Mittel.“
Auch ein gutes Ziel muss verhältnismäßig, rechtmäßig und verantwortbar umgesetzt werden.
Selbstkontrolle und Reflexion
Beantworte ohne nachzusehen:
Erkläre in zwei Sätzen den Unterschied zwischen KI-Recht und KI-Ethik.
Nenne einen Fall, der legal sein könnte, aber trotzdem eine ethische Prüfung braucht.
Erkläre, warum 90 Prozent Genauigkeit allein nichts über Fairness beweist.
Beschreibe drei Bedingungen für wirksame menschliche Kontrolle.
Formuliere einen Beschwerdeweg für eine KI-gestützte Schulentscheidung.
Nenne eine Systemänderung, die Human Agency stärken würde.
Übertrage die Doppelprüfung auf einen neuen Fall aus Deinem Alltag.
Exit-Ticket: Schreibe am Ende drei Zeilen: „Eine rechtliche Frage ist ... . Eine ethische Frage ist ... . Eine Sache, die ich vor einem KI-Einsatz prüfen würde, ist ... .“
Interaktive Aufgaben
Quiz: Teste Dein Wissen
Was unterscheidet KI-Recht am klarsten von KI-Ethik?
(KI-Recht bestimmt verbindliche Regeln während KI-Ethik verantwortbare Werte und Folgen begründet)
(!KI-Recht bewertet nur Technik)
(!KI-Ethik besteht nur aus persönlichen Gefühlen)
(!KI-Recht und KI-Ethik sind vollständig identisch)
Eine KI-Anwendung ist rechtlich zulässig aber benachteiligt eine Gruppe deutlich häufiger. Welche Aussage trifft am besten zu?
(Die ethische Prüfung bleibt nötig weil Fairness und Folgen problematisch sein können)
(!Die Anwendung ist automatisch fair weil sie legal ist)
(!Die Benachteiligung spielt keine Rolle wenn die Genauigkeit hoch ist)
(!Nur der Hersteller darf die Situation bewerten)
Wann ist menschliche Kontrolle über eine KI-Entscheidung am wirksamsten?
(Wenn die prüfende Person Zeit Informationen Kompetenz und echte Änderungsbefugnis hat)
(!Wenn eine Person nur auf Bestätigen klicken kann)
(!Wenn die KI immer zuerst entscheiden darf)
(!Wenn niemand die Verantwortung übernimmt)
Was zeigt eine deutlich höhere falsch-positive Quote für eine Gruppe?
(Dass eine mögliche Fairnessfrage genauer untersucht werden muss)
(!Dass das System automatisch rechtswidrig ist)
(!Dass die Gesamtgenauigkeit immer falsch berechnet wurde)
(!Dass Gruppenvergleiche grundsätzlich unnötig sind)
Welche Maßnahme gehört besonders zur Governance eines KI-Systems?
(Klare Rollen Beschwerdewege Prüfintervalle und Stop-Befugnisse festlegen)
(!Nur ein größeres Sprachmodell einsetzen)
(!Alle Entscheidungen vollständig automatisieren)
(!Nur die Farbe der Benutzeroberfläche ändern)
Warum kann Transparenz mehr bedeuten als ein KI-Label?
(Betroffene müssen relevante Informationen zu Zweck Folgen und Verantwortlichen verstehen können)
(!Transparenz bedeutet immer vollständige Veröffentlichung des Quellcodes)
(!Ein KI-Label macht jede Entscheidung automatisch fair)
(!Transparenz ersetzt Datenschutz und Sicherheit)
Welche Aussage über Verantwortung ist richtig?
(Auch bei KI-Einsatz müssen Verantwortung und Rechenschaft Menschen oder Organisationen zugeordnet bleiben)
(!Eine KI trägt automatisch die rechtliche Verantwortung)
(!Verantwortung entfällt wenn ein System sehr genau ist)
(!Nur die betroffene Person trägt Verantwortung)
Was ist bei einem KI-System im Schulbereich zuerst zu klären?
(Zweck Betroffene Rechtsfragen Risiken und mögliche Alternativen)
(!Nur der Produktname)
(!Nur die Rechengeschwindigkeit)
(!Nur ob das System modern wirkt)
Welche Aussage beschreibt eine gute Folgenabschätzung?
(Sie wird vor dem Einsatz begonnen und während des Betriebs anhand realer Folgen aktualisiert)
(!Sie wird einmal ausgefüllt und danach nie verändert)
(!Sie betrachtet nur finanzielle Kosten)
(!Sie ist nur für Programmierende relevant)
Was ist die beste Reaktion auf einen neuen unbekannten KI-Fall?
(Den Fall systematisch nach Zweck Stakeholdern Recht Werten Folgen und Kontrolle prüfen)
(!Nur fragen ob die KI technisch beeindruckend ist)
(!Automatisch dieselbe Entscheidung wie beim letzten Fall treffen)
(!Die Entscheidung vollständig der KI überlassen)
Memory
KI-Recht
verbindliche Normen
KI-Ethik
begründete Werteabwägung
Human Agency
menschliche Handlungsfähigkeit
Human Oversight
wirksame menschliche Aufsicht
Folgenabschätzung
systematische Wirkungsvorausschau
Governance
klare Rollen und Verfahren
Fairnessprüfung
Vergleich relevanter Fehlerverteilungen
Beschwerdeweg
anfechtbare Entscheidung
Drag and Drop
Ordne die richtigen Begriffe zu.
Thema
Verbindliche Norm
KI-Recht
Werteabwägung
KI-Ethik
Echte Änderungsbefugnis
menschliche Kontrolle
Gruppenvergleich
Evaluation
Stop-Befugnis
Governance
Kreuzworträtsel
Rechtsnorm
Wie heißt eine verbindliche rechtliche Regel mit einem Wort?
Fairness
Welches Prinzip fragt nach gerechter Verteilung von Nutzen Fehlern und Belastungen?
Transparenz
Welcher Begriff steht für nachvollziehbare und erkennbare KI-Nutzung?
Aufsicht
Welches Wort bezeichnet die menschliche Überwachung eines Systems?
Governance
Wie heißt die Gestaltung von Rollen Regeln und Kontrollverfahren?
Grundrechte
Welche Rechte schützen zentrale Freiheiten und Gleichheit gegenüber staatlichen Eingriffen?
LearningApps
Lückentext
Offene Aufgaben
Leicht
Recht-Ethik-Sortierung: Finde fünf Beispiele aus Schule oder Alltag und notiere zu jedem eine rechtliche und eine ethische Prüffrage.
KI-Wertekarte: Gestalte eine kleine Infografik zu Menschenwürde, Fairness, Transparenz, Verantwortung und Human Agency. Formuliere zu jedem Wert eine konkrete Prüffrage.
Fehlvorstellungen prüfen: Wähle drei typische Fehlvorstellungen aus diesem Kurs und entwickle je ein Gegenbeispiel, das die Fehlvorstellung widerlegt.
Quellenkritik bei KI-Regeln: Vergleiche eine offizielle Quelle zur KI-Verordnung mit einer beliebigen Zusammenfassung im Netz. Markiere, welche Aussage belegt, verkürzt oder möglicherweise veraltet ist.
Standard
Stakeholder-Mapping: Erstelle für den Fall LernRadar eine Stakeholder-Karte mit Interessen, Risiken, Macht und möglichen Konflikten.
Fairnessanalyse: Entwickle mit selbst gewählten Zahlen zwei Gruppen mit unterschiedlichen Fehlerraten. Zeige mathematisch, warum eine einzige Gesamtgenauigkeit ein verzerrtes Bild liefern kann.
Governance-Charta: Entwirf eine einseitige Schulregel für den Einsatz eines KI-Systems mit Rollen, Dokumentation, Widerspruch, Stop-Regeln und regelmäßiger Evaluation.
Interview zu KI-Verantwortung: Befrage eine Lehrkraft, eine Ausbilderin, einen Betriebsrat, eine Datenschutzperson oder eine Verwaltungsperson dazu, wer bei KI-gestützten Entscheidungen verantwortlich bleiben sollte. Fasse Unterschiede zwischen den Perspektiven zusammen.
Schwer
Systemaudit: Untersuche ein reales oder fiktives KI-System entlang Zweck, Daten, Modell, Oberfläche, menschlicher Entscheidung, Monitoring und Beschwerdeweg. Entwickle mindestens drei Designverbesserungen.
Folgenabschätzung: Erstelle für eine KI-gestützte Ausbildungsplatzvergabe eine strukturierte Folgenabschätzung mit Nutzen, Grundrechtsrisiken, Fairnessproblemen, Sicherheitsfragen und Schutzmaßnahmen.
Bürgerrat KI: Simuliere einen Bürgerrat mit Lernenden, Lehrkräften, Unternehmen, Verwaltung, Eltern und zivilgesellschaftlichen Gruppen. Entwickelt gemeinsam Bedingungen, unter denen ein KI-System akzeptiert, verändert oder abgelehnt wird.
Transferfall entwickeln: Erfinde einen neuen realistischen KI-Fall, bei dem eine rechtlich mögliche Lösung ethisch umstritten ist. Lass eine andere Gruppe den Fall mit der Doppelprüfung analysieren und überarbeite anschließend Deinen Fall anhand ihres Feedbacks.
Lernkontrolle
Transferurteil Schule: Eine Schule möchte ein System einsetzen, das aus Kamera- und Audiodaten Aufmerksamkeit im Unterricht schätzt. Entwickle keine Ja-Nein-Antwort, sondern eine strukturierte Prüfung aus Recht, Ethik, Human Agency, Systemdesign und Alternativen.
Zielkonflikt Wirtschaft: Ein Unternehmen senkt durch KI-Kontrollen die Fehlerquote, erhöht aber den Überwachungsdruck auf Beschäftigte. Begründe eine Regelung, die Produktivität, Privatsphäre und Autonomie abwägt.
Evaluation neu denken: Ein Anbieter wirbt mit 95 Prozent Genauigkeit. Entwirf fünf zusätzliche Prüfungen, die Du vor einer verantwortlichen Einführung verlangen würdest, und begründe jede.
Governance unter Zeitdruck: In einer Schule liefert ein KI-System plötzlich viele ungewöhnliche Warnungen. Entwirf einen Eskalationsplan mit Zuständigkeit, Stop-Regel, Kommunikation, Überprüfung und Wiederfreigabe.
Recht und Ethik trennen: Formuliere für einen Deepfake-Fall drei rechtliche und drei ethische Fragen. Erkläre anschließend, an welchen Stellen sich beide Ebenen überschneiden.
Human Agency bewerten: Vergleiche zwei Systeme: System A zeigt nur eine Empfehlung mit Bestätigen-Knopf; System B zeigt Unsicherheit, Gründe, Alternativen und Widerspruch. Erkläre, warum der Unterschied mehr als eine Designfrage ist.
Neue Technik beurteilen: Wähle einen KI-Einsatz, der im Kurs nicht vorkam. Entwickle ein Urteil, das mindestens zwei Stakeholder, einen Grundrechtsbezug, einen Wertkonflikt, eine Evaluationsidee und eine Governance-Maßnahme enthält.
Lernnachweis
Für einen überzeugenden Lernnachweis solltest Du zeigen, dass Du nicht nur Begriffe wiedergeben, sondern neue Fälle selbstständig beurteilen kannst.
Begriffsverständnis: Du erklärst KI-Recht und KI-Ethik klar und ohne sie gleichzusetzen.
Anwendung: Du erkennst beide Ebenen in einem unbekannten Fall.
Systemverständnis: Du untersuchst Zweck, Daten, Modell, Oberfläche, menschliche Entscheidung und Monitoring.
Evaluation: Du interpretierst Fehlerarten und erkennst, warum Gesamtgenauigkeit allein nicht reicht.
Grundrechte und Werte: Du benennst betroffene Rechte und Werte und wägest Zielkonflikte nachvollziehbar ab.
Human Agency: Du beschreibst konkrete Bedingungen für wirksame menschliche Kontrolle.
Governance: Du legst Verantwortlichkeit, Beschwerdeweg, Stop-Regeln und Prüfroutinen fest.
Transfer: Du überträgst die Methode auf einen neuen Fall und korrigierst typische Fehlvorstellungen.
Urteilsqualität: Du nennst Gründe, Unsicherheiten und Gegenargumente statt nur ein Ergebnis zu behaupten.
OERs zum Thema
Die folgenden Wikimedia-Commons-Medien sind frei lizenziert oder gemeinfrei; die jeweilige Lizenz steht auf der Dateiseite. YouTube-Einbettungen dienen der Vertiefung, sind aber nicht automatisch Open Educational Resources.
