Diesen aiMOOC als Battle spielen: Deutsch, Klasse 9-10, G-Niveau

Zweck und Zielgruppe eines KI-Systems untersuchen

Einleitung

Künstliche Intelligenz ist nicht nur ein Modell oder ein Programm. Ein KI-System entsteht erst im Zusammenspiel von Zweck, Daten, Modell, Oberfläche, Menschen, Infrastruktur und Folgen. Genau deshalb reicht die Frage „Wie gut ist die KI?“ nicht aus. Du musst zusätzlich fragen: Wozu soll sie eingesetzt werden? Für wen? Wer ist betroffen? Mit welchen Daten arbeitet sie? Wer entscheidet am Ende? Was passiert bei Fehlern?

In diesem Lernkurs untersuchst Du ein KI-System wie eine technische und gesellschaftliche Konstruktion. Du lernst, zwischen Funktion und Zweck zu unterscheiden, Zielgruppen und Betroffene sichtbar zu machen, Leistungsdaten kritisch zu lesen, Risiken abzuwägen und eine begründete Entscheidung über den Einsatz eines Systems zu treffen.

Der Kurs ist für die Klasse 9 konzipiert und lässt sich in etwa 1–2 Unterrichtsstunden bearbeiten. Er verbindet besonders Informatik, Deutsch, Mathematik, Technik, Wirtschaft, Geschichte, Ethik und Gemeinschaftskunde.

Leitfrage: Nicht „Kann die KI das?“, sondern: „Soll dieses KI-System diesen Zweck für diese Zielgruppe unter diesen Bedingungen erfüllen?“

Lernziele

Nach dem Kurs kannst Du ...

Zweck analysieren: erklären, welches Problem ein KI-System lösen soll und woran Erfolg gemessen wird.
Zielgruppen unterscheiden: Nutzende, Betroffene und weitere Beteiligte auseinanderhalten.
Daten beurteilen: prüfen, ob Daten zum Zweck und zur Zielgruppe passen und wo Verzerrungen entstehen können.
Modelle einordnen: verstehen, dass ein Modell aus Daten Muster ableitet, aber keine neutrale Wahrheit erzeugt.
Oberflächen bewerten: untersuchen, wie Anzeigen, Warnungen und Rankings menschliche Entscheidungen beeinflussen.
Infrastruktur berücksichtigen: Verfügbarkeit, Geräte, Netze, Rechenleistung, Energiebedarf und Sicherheit mitdenken.
Fairness untersuchen: erkennen, dass gute Durchschnittswerte Unterschiede zwischen Gruppen verdecken können.
Risiken abwägen: Wahrscheinlichkeit und mögliche Schadenshöhe gemeinsam betrachten.
Verantwortung zuordnen: begründen, welche Entscheidungen Menschen behalten sollten.
Transfer leisten: eine neue KI-Anwendung selbstständig untersuchen und eine begründete Entscheidung formulieren.

Zeitplan für 1–2 Unterrichtsstunden

Phase	ca. Zeit	Ziel
Aktivierung und Diagnose	5–10 Minuten	Vorwissen sichtbar machen, Zweck und Funktion unterscheiden
Einführung in das sozio-technische System	10–15 Minuten	Systembestandteile und Zusammenhänge verstehen
Realistische Anwendungssituation	20–25 Minuten	Zweck, Zielgruppe, Daten und Verantwortlichkeiten untersuchen
Mathematik und Systembewertung	15–20 Minuten	Leistungsdaten, Fehler und Fairness analysieren
Risikoabwägung und Entscheidung	10–15 Minuten	Einsatzbedingungen begründen
Selbstkontrolle, Reflexion und Transfer	10–15 Minuten	Wissen prüfen und auf eine neue Situation übertragen

Für eine einzelne Unterrichtsstunde kann die Lehrkraft den Abschnitt zur Anwendungssituation, die Datenanalyse und eine kurze Transferentscheidung als Kernpfad auswählen.

Aktivierung und Diagnose

Vier Systeme – vier Zwecke?

Lies die vier Situationen. Formuliere jeweils in einem Satz den möglichen Zweck und nenne mindestens eine Zielgruppe.

System	Mögliche Funktion	Deine Frage
Spamfilter	sortiert Nachrichten	Welchen Zweck erfüllt das Sortieren – und für wen?
Empfehlungssystem	ordnet Inhalte nach einer berechneten Relevanz	Welche Interessen sollen damit unterstützt werden?
Bilderkennung im Straßenverkehr	erkennt Objekte in Kamerabildern	Wer profitiert, wer kann durch Fehler gefährdet werden?
Automatische Vorauswahl von Bewerbungen	ordnet oder filtert Bewerbungen	Welche Folgen kann ein Fehler für Betroffene haben?

Diagnosefrage: Ist die Funktion eines Systems dasselbe wie sein Zweck? Begründe Deine Antwort in zwei Sätzen.

Funktion ist nicht Zweck

Eine Funktion beschreibt, was ein System technisch tut. Ein Zweck beschreibt, warum diese Funktion eingesetzt wird.

Beispiel: Ein Modell kann Texte nach Ähnlichkeit sortieren. Das ist eine Funktion. Wird es eingesetzt, um Lernenden passende Übungsaufgaben vorzuschlagen, ist das ein Zweck. Wird dasselbe Verfahren eingesetzt, um Menschen automatisch Zugang zu einer Ausbildung zu verweigern, verändert sich der Zweck – und damit verändern sich auch Risiken, Verantwortung und Anforderungen.

Merksatz: Der Zweck ist kein Nebendetail. Er bestimmt, welche Daten passend sind, welche Fehler wichtig sind, welche Zielgruppen berücksichtigt werden müssen und wie streng ein System geprüft werden sollte.

KI als sozio-technisches System

Ein KI-System ist sozio-technisch, weil technische Bausteine und menschliche beziehungsweise gesellschaftliche Entscheidungen miteinander verbunden sind. Selbst ein sehr leistungsfähiges Modell kann zu schlechten Ergebnissen führen, wenn der Zweck unklar ist, die Zielgruppe falsch eingeschätzt wird, ungeeignete Daten verwendet werden oder Menschen dem System zu viel Entscheidungsmacht geben.

Systemkarte: Die sieben Perspektiven

Perspektive	Leitfragen	Typische Risiken
Zweck	Welches Problem soll gelöst werden? Was wäre ein guter Erfolg?	Zweck bleibt unklar, verändert sich später oder wird ausgeweitet
Daten	Woher kommen sie? Wen bilden sie ab? Was fehlt?	Verzerrung, schlechte Qualität, Datenschutzprobleme
Modell	Welche Muster werden berechnet? Wie wird getestet?	Fehler, Überanpassung, unpassende Kennzahlen
Oberfläche	Wie werden Ergebnisse gezeigt? Welche Handlung wird nahegelegt?	Menschen vertrauen Rankings oder Warnungen zu stark
Menschen	Wer nutzt, prüft, entscheidet, widerspricht oder trägt Verantwortung?	Verantwortung wird an Technik abgeschoben
Infrastruktur	Welche Geräte, Server, Netze und Sicherheitsmaßnahmen sind nötig?	Ausfälle, Abhängigkeiten, Kosten, Ressourcenverbrauch
Folgen	Wer gewinnt oder verliert? Welche Rückkopplungen entstehen?	Ungleichheit, falsche Anreize, Überwachung, Vertrauensverlust

Systemzusammenhang als Wirkungskette

Schritt	Zusammenhang
1 Zweck	bestimmt, welche Aufgabe überhaupt sinnvoll ist
2 Zielgruppe	bestimmt, für wen Daten, Oberfläche und Ergebnisse geeignet sein müssen
3 Daten	beeinflussen, welche Muster das Modell lernen kann
4 Modell	erzeugt Vorhersagen, Empfehlungen, Klassifikationen oder Inhalte
5 Oberfläche	übersetzt Modellergebnisse in Signale für Menschen
6 menschliche Entscheidung	bestätigt, verändert oder verwirft den Systemvorschlag
7 Folgen	verändern Verhalten und können neue Daten erzeugen
8 Rückkopplung	neue Daten fließen möglicherweise wieder in spätere Modelle oder Entscheidungen ein

Systemkarte als Kurzform:

Zweck → Zielgruppe → Daten → Modell → Ausgabe → menschliche Handlung → Folgen → neue Daten

Darunter liegt die Infrastruktur; um die gesamte Kette herum wirken Regeln, Werte, Kosten, Machtverhältnisse und Verantwortung.

Was ein Modell kann – und was nicht

Ein Modell verarbeitet Eingaben nach gelernten oder festgelegten Mustern. Beim maschinellen Lernen werden diese Muster aus Beispieldaten abgeleitet. Ein Modell kann deshalb nützlich sein, ohne die Situation im menschlichen Sinn zu verstehen.

Das bedeutet für Deine Bewertung:

Ein plausibles Ergebnis ist nicht automatisch wahr.
Ein hoher Durchschnittswert garantiert nicht, dass das System für alle Teilgruppen gleich gut funktioniert.
Ein Modell kennt den gesellschaftlichen Zweck seines Einsatzes nicht von selbst.
Verantwortung für Zielsetzung, Prüfung und Einsatz bleibt bei Menschen und Organisationen.

Medienauftrag: Achte beim Video besonders darauf, welche Rolle Daten, Wahrscheinlichkeiten und Modellgrenzen spielen. Notiere anschließend einen Satz zu der Frage: „Warum reicht technisches Funktionieren für eine verantwortliche Entscheidung nicht aus?“

Zweck eines KI-Systems untersuchen

Fünf Fragen für eine Zweckanalyse

Ein belastbarer Zweck lässt sich nicht nur mit einem Schlagwort wie „Lernen verbessern“ beschreiben. Prüfe genauer:

Problem: Welches konkrete Problem soll gelöst werden?
Handlungsziel: Welche Entscheidung oder Handlung soll besser werden?
Erfolg: Woran wird überprüfbar, ob der Einsatz hilft?
Grenze: Wofür soll das System ausdrücklich nicht verwendet werden?
Alternative: Könnte das Ziel auch ohne KI, mit weniger Daten oder mit geringerer Automatisierung erreicht werden?

Beispiel für einen zu weiten Zweck: „Die KI soll den Unterricht verbessern.“

Besser: „Das System soll Lernenden der Klassen 8–10 zusätzliche Übungsaufgaben zu bereits behandelten Mathematikthemen vorschlagen. Es darf keine Noten vergeben, keine Versetzungsentscheidung treffen und keine Diagnose über Begabung erstellen.“

Je genauer der Zweck beschrieben ist, desto besser kannst Du prüfen, ob Daten, Modell und Risiken dazu passen.

Zweckverschiebung und Function Creep

Ein System kann zunächst für einen begrenzten Zweck entwickelt werden und später für weitere Aufgaben eingesetzt werden. Das wird häufig als Function Creep oder Zweckausweitung bezeichnet.

Beispiel: Daten über Übungszeiten werden zunächst verwendet, um passende Aufgaben vorzuschlagen. Später möchte eine Schule dieselben Daten nutzen, um „Arbeitsdisziplin“ zu bewerten. Obwohl die Daten gleich aussehen, hat sich der Zweck stark verändert.

Prüffrage: Würden die betroffenen Personen der neuen Verwendung noch zustimmen – und sind die Daten überhaupt geeignet, das neue Merkmal abzubilden?

Zielgruppen und Betroffene untersuchen

Nicht nur die Nutzenden zählen

Bei einem KI-System gibt es oft mehrere Gruppen:

Rolle	Beispiel in der Schule	Wichtige Frage
Direkte Nutzende	Lernende oder Lehrkräfte bedienen die Oberfläche	Können sie das System verstehen und sinnvoll benutzen?
Betroffene	Personen, über die ein Ergebnis oder eine Empfehlung erstellt wird	Können sie Nachteile erleiden, auch wenn sie das System nicht selbst bedienen?
Entscheidende	Lehrkräfte oder Schulleitung treffen eine Entscheidung	Können sie widersprechen und das Ergebnis überprüfen?
Entwickelnde und Anbietende	erstellen Datenprozesse, Modelle und Software	Welche Annahmen wurden eingebaut?
Verantwortliche Organisation	Schule oder Schulträger	Wer kontrolliert Zweck, Datenschutz, Sicherheit und Wirkung?
Indirekt Betroffene	Eltern, Mitschülerinnen und Mitschüler oder Öffentlichkeit	Welche Folgen entstehen außerhalb der direkten Nutzung?

Wichtig: Zielgruppe und Betroffenengruppe können verschieden sein. Eine Lehrkraft kann die Nutzerin eines Systems sein, während Schülerinnen und Schüler von seinen Empfehlungen betroffen sind.

Barrierefreiheit und tatsächliche Nutzung

Ein System ist nicht für eine Zielgruppe geeignet, nur weil es „für Schülerinnen und Schüler“ beworben wird. Prüfe zum Beispiel:

Sind Sprache und Bedienung altersgerecht?
Funktioniert die Oberfläche mit Tastatur, Bildschirmvergrößerung oder Vorlesetechnik?
Benötigt das System schnelle Internetverbindungen oder aktuelle Geräte?
Versteht die Zielgruppe, welche Daten verwendet werden?
Gibt es eine echte Möglichkeit, Fehler zu melden oder eine Entscheidung anzufechten?

Hier verbinden sich Informatik, Deutsch, Technik, Ethik und Gemeinschaftskunde: Verständlichkeit, Zugang und Mitbestimmung sind Teil der Systemqualität.

Daten, Modell und Zielgruppe

Passen die Daten zum Zweck?

Daten sind nie einfach „die Wirklichkeit“. Sie wurden ausgewählt, gemessen, beschriftet, gespeichert und für einen bestimmten Zweck nutzbar gemacht. Dabei können Informationen fehlen oder bestimmte Gruppen schwächer vertreten sein.

Frage bei jedem Datensatz:

Wer kommt in den Daten vor?
Wer fehlt?
Wie wurden Merkmale gemessen?
Wer hat Kategorien oder Labels festgelegt?
Aus welcher Zeit und welchem Kontext stammen die Daten?
Gibt es sogenannte Proxy-Merkmale, die indirekt andere Eigenschaften abbilden?
Können die Daten den vorgesehenen Zweck überhaupt sinnvoll unterstützen?

Ein Bias ist eine systematische Verzerrung. Ein System kann beispielsweise im Durchschnitt brauchbar wirken und trotzdem bei einer Teilgruppe regelmäßig schlechtere Ergebnisse liefern.

Kurzauftrag: Notiere nach dem Video drei mögliche Orte, an denen Verzerrungen entstehen können: bei den Daten, beim Modell oder beim Einsatz durch Menschen.

Beispiel Gesichtserkennung: Zweck verändert die Bewertung

Gesichtserkennung kann technisch ähnlich aufgebaut sein, aber sehr verschiedene Zwecke erfüllen: ein persönliches Gerät entsperren, Personen in einem Fotoalbum sortieren oder Menschen in einem öffentlichen Raum identifizieren.

Die technische Funktion allein sagt deshalb noch nicht, ob ein Einsatz angemessen ist. Mit größerer Reichweite, weniger freiwilliger Teilnahme und stärkeren Folgen wachsen typischerweise auch Anforderungen an Rechtfertigung, Genauigkeit, Transparenz und Kontrolle.

Realistische Anwendungssituation: KI-Lernempfehlungen in Klasse 9

Eine Schule überlegt, ein hypothetisches KI-System einzusetzen. Es soll Schülerinnen und Schülern der Klassen 8–10 zusätzliche Übungsaufgaben vorschlagen. Außerdem markiert es Fälle, bei denen eine Lehrkraft prüfen soll, ob zusätzliche Unterstützung sinnvoll wäre.

Vorgesehener Zweck: Lernende schneller zu passenden Übungen führen und Lehrkräfte auf mögliche Unterstützungsbedarfe aufmerksam machen.

Ausdrückliche Grenze: Das System darf keine Noten vergeben, keine Versetzungsentscheidung treffen und keine automatische Diagnose über Fähigkeiten oder Persönlichkeit erstellen.

Mögliche Daten: Ergebnisse aus freiwilligen Übungsaufgaben, Fehlertypen, bearbeitete Themen und Bearbeitungszeiten.

Ausgabe: Aufgabenempfehlung und ein Hinweis „Bitte durch Lehrkraft prüfen“.

Menschliche Rolle: Lehrkräfte müssen die Empfehlung überprüfen, mit weiteren Informationen abgleichen und können sie verwerfen.

Systemkarte der Anwendung

Baustein	Konkrete Ausgestaltung	Kritische Prüffrage
Zweck	passende Übungen und Hinweise für menschliche Prüfung	Ist der Zweck eng genug definiert?
Zielgruppe	Lernende Klasse 8–10 und Lehrkräfte	Sind Sprache, Bedienung und Ergebnisse für alle geeignet?
Daten	Übungsergebnisse, Themen, Fehlertypen, Bearbeitungszeiten	Sind Bearbeitungszeiten wirklich ein guter Hinweis auf Unterstützungsbedarf?
Modell	berechnet Muster aus bisherigen Lerndaten	Wie wird für unterschiedliche Teilgruppen getestet?
Oberfläche	Empfehlung plus Hinweis	Wirkt der Hinweis wie ein unverbindlicher Tipp oder wie ein scheinbar objektives Urteil?
Menschen	Lernende, Lehrkräfte, Schulleitung, IT, Eltern	Wer darf korrigieren, widersprechen und den Einsatz stoppen?
Infrastruktur	Endgeräte, Schulnetz, Server, Konten, Updates	Was passiert bei Ausfall oder Sicherheitsproblemen?
Folgen	passende Hilfe oder falsche Einordnung	Werden Lernchancen verbessert oder festgeschrieben?

Datenkritik: Ein unscheinbares Merkmal

Die Bearbeitungszeit scheint zunächst nützlich. Aber eine lange Bearbeitungszeit kann viele Ursachen haben: gründliches Arbeiten, Ablenkung, langsame Internetverbindung, Bedienprobleme, Unterbrechungen oder tatsächlich fachliche Schwierigkeiten.

Analyseauftrag: Erkläre, warum die Aussage „lange Bearbeitungszeit = schwache Leistung“ zu kurz greift. Formuliere danach eine bessere Regel für den Umgang mit diesem Merkmal.

Mathematik: Leistungsdaten richtig lesen

Ein Test des Systems umfasst zwei gleich große Gruppen mit jeweils 100 Personen. In jeder Gruppe benötigen laut sorgfältiger menschlicher Prüfung 20 Personen zusätzliche Unterstützung.

Kennzahl	Gruppe A	Gruppe B
Personen mit tatsächlichem Unterstützungsbedarf	20	20
davon richtig erkannt	18	12
Personen ohne Unterstützungsbedarf	80	80
davon fälschlich markiert	8	2

Zwei Kennzahlen berechnen

Trefferquote bei Unterstützungsbedarf fragt: Wie viele der tatsächlich unterstützungsbedürftigen Personen werden erkannt?

Gruppe A: 18 von 20 = 90 %

Gruppe B: 12 von 20 = 60 %

Gesamtgenauigkeit fragt: Wie viele Fälle insgesamt sind richtig eingeordnet?

Gruppe A: 18 richtig erkannt + 72 richtig nicht markiert = 90 von 100 = 90 %

Gruppe B: 12 richtig erkannt + 78 richtig nicht markiert = 90 von 100 = 90 %

Überraschung: Beide Gruppen haben dieselbe Gesamtgenauigkeit von 90 %, aber die für den Zweck besonders wichtige Trefferquote beim Unterstützungsbedarf unterscheidet sich stark.

Mathematische Kernidee: Eine einzelne Kennzahl kann wichtige Unterschiede verdecken. Deshalb muss die passende Kennzahl aus dem Zweck abgeleitet werden.

Was bedeutet das für Fairness?

Die Zahlen beweisen noch nicht, warum der Unterschied entsteht. Sie zeigen aber, wo genauer untersucht werden muss.

Mögliche nächste Fragen:

Sind die Daten in beiden Gruppen gleich vollständig?
Wird ein Merkmal in einer Gruppe anders gemessen?
Wurde das Modell mit ausreichend ähnlichen Beispielen trainiert?
Ist die Schwelle, ab der eine Markierung erscheint, sinnvoll?
Welche Folgen hat ein übersehener Unterstützungsbedarf?
Welche Folgen hat eine falsche Markierung?

Fairness ist damit nicht nur eine Eigenschaft des Modells. Sie hängt auch von Zweck, Daten, Schwellenwerten, menschlicher Nutzung und Folgen ab.

Risikoabwägung

Wahrscheinlichkeit und Schadenshöhe

Eine einfache Risikomatrix kann helfen, Risiken zu strukturieren. Sie ersetzt kein Urteil, macht Annahmen aber sichtbar.

Risiko	Wahrscheinlichkeit 1–3	mögliche Schadenshöhe 1–3	vereinfachter Risikowert	mögliche Schutzmaßnahme
Unterstützungsbedarf wird übersehen	2	3	6	menschliche Prüfung, regelmäßige Tests nach Teilgruppen
falsche Markierung	2	2	4	keine automatische Entscheidung, Begründung und Korrekturmöglichkeit
sensible Daten werden unberechtigt eingesehen	1	3	3	Zugriffsbeschränkung, Datensparsamkeit, Sicherheitskonzept
Lernende richten ihr Verhalten nur noch auf das System aus	2	2	4	verschiedene Lernformen, qualitative Rückmeldungen, keine verdeckte Bewertung

Achtung: Ein Risikowert ist keine objektive Wahrheit. Schon die Einschätzung von Wahrscheinlichkeit und Schadenshöhe enthält Wertentscheidungen. Deshalb sollen Annahmen begründet und diskutiert werden.

Menschliche Kontrolle und Human Agency

Human Agency bedeutet, dass Menschen handlungs- und entscheidungsfähig bleiben. Ein verantwortliches System sollte Menschen nicht nur theoretisch „in der Schleife“ lassen, sondern ihnen echte Möglichkeiten geben:

Ergebnisse verstehen und hinterfragen.
Zusatzinformationen berücksichtigen.
Systemvorschläge ablehnen.
Fehler korrigieren.
Entscheidungen erklären.
Betroffenen einen Widerspruch ermöglichen.
Den Einsatz bei problematischen Wirkungen stoppen.

Eine bloße Schaltfläche „Bestätigen“ ist keine starke menschliche Kontrolle, wenn alle erwarten, dass der Systemvorschlag ohnehin übernommen wird.

Technik und Infrastruktur

Ein KI-System benötigt technische Infrastruktur: Endgeräte, Netze, Speicher, Server, Updates, Zugriffsrechte und oft externe Rechenzentren. Dadurch entstehen weitere Bewertungsfragen.

Sicherheit: Wer darf auf Daten und Modelle zugreifen?
Verfügbarkeit: Was passiert bei Netzwerk- oder Serverausfall?
Abhängigkeit: Kann die Organisation das System wechseln oder verlassen?
Ressourcen: Ist der technische Aufwand im Verhältnis zum Nutzen angemessen?
Wartung: Wer prüft Updates und veränderte Modellleistungen?
Datenhoheit: Können Daten gelöscht, exportiert und nachvollziehbar verwaltet werden?

Wirtschaftliche Perspektive

Auch wirtschaftliche Anreize beeinflussen den Zweck eines KI-Systems. Ein Unternehmen kann beispielsweise ein System als Lernhilfe anbieten, gleichzeitig aber ein Geschäftsmodell verfolgen, das auf Nutzungsdauer, Datensammlung oder langfristiger Kundenbindung beruht.

Prüfe deshalb zusätzlich:

Wer bezahlt das System?
Wer profitiert finanziell vom Einsatz?
Welche Kosten entstehen später für Lizenzen, Geräte, Support oder Datenmigration?
Sind Erfolgskriterien der Organisation und Interessen der Zielgruppe deckungsgleich?
Gibt es eine weniger aufwendige oder weniger datenintensive Alternative?

Wirtschaftliche Effizienz ist ein legitimes Ziel, darf aber nicht automatisch Vorrang vor Fairness, Datenschutz, Sicherheit oder Bildungschancen erhalten.

Historische Perspektive

Automatisierte Bewertung beginnt nicht erst mit moderner KI. Menschen nutzen seit Langem Kategorien, Punktwerte, standardisierte Tests und statistische Verfahren, um Entscheidungen zu vereinheitlichen. Moderne KI kann solche Verfahren beschleunigen und auf sehr große Datenmengen anwenden.

Die historische Perspektive hilft Dir bei zwei Fragen:

Welche früheren Vorstellungen von „Leistung“, „Risiko“ oder „Normalität“ stecken möglicherweise in heutigen Daten?
Werden alte Ungleichheiten durch neue Technik nur effizienter wiederholt?

Technischer Fortschritt bedeutet deshalb nicht automatisch gesellschaftlichen Fortschritt. Entscheidend ist, welche Ziele, Werte und Kontrollmöglichkeiten in ein System eingebaut werden.

Gemeinschaftskunde, Ethik und Recht

KI-Systeme können Grundrechte, Bildungschancen, Teilhabe und Machtverhältnisse berühren. In einer demokratischen Gesellschaft müssen besonders folgenreiche Systeme deshalb nachvollziehbar begründet, kontrolliert und kritisierbar sein.

Der europäische AI Act verfolgt einen risikobasierten Ansatz. KI-Systeme in Bildung können unter bestimmten Voraussetzungen als Hochrisiko-Anwendungen eingeordnet werden, etwa wenn sie den Zugang zu Bildung, Lernergebnisse oder Bildungswege wesentlich beeinflussen. Die genaue rechtliche Einordnung hängt vom vorgesehenen Zweck und den Umständen des Einsatzes ab.

Stand September 2026: Die allgemeinen Regelungen des AI Act sind seit August 2026 anwendbar. Für Hochrisiko-Anwendungen in den in Anhang III genannten Bereichen, darunter bestimmte Bildungsanwendungen, ist die Anwendung der besonderen Hochrisiko-Regeln derzeit ab dem 2. Dezember 2027 vorgesehen.

Für Deine Analyse gilt trotzdem schon heute: Ein System, das Menschen stark beeinflusst, sollte besonders sorgfältig auf Zweck, Datenqualität, Transparenz, Sicherheit, Fairness und menschliche Aufsicht geprüft werden.

Diskussionsauftrag zum Video: Suche eine Stelle, an der aus einer technischen Fähigkeit eine gesellschaftliche Frage wird. Formuliere anschließend: „Technisch möglich ist nicht automatisch sinnvoll, weil ...“

Fächerübergreifende Verbindungen

Fach	Verbindung zum Thema	mögliche Leistung
Informatik	Datenfluss, Modell, Testdaten, Mensch-Maschine-Schnittstelle	Systemkarte erstellen und Fehlerquellen lokalisieren
Deutsch	präzise Zweckformulierungen, Argumentation, Quellenkritik	eine begründete Entscheidung mit Pro- und Contra-Argumenten schreiben
Mathematik	Prozentrechnung, Kennzahlen, Vergleich von Gruppen, Risikomatrix	Trefferquoten berechnen und ihre Aussagegrenzen erklären
Technik	Geräte, Server, Netze, Ausfallsicherheit, Ressourcen	Infrastruktur und technische Abhängigkeiten bewerten
Wirtschaft	Kosten, Geschäftsmodelle, Anreize, Lock-in	Interessen verschiedener Akteure untersuchen
Geschichte	Entwicklung von Mess-, Klassifikations- und Automatisierungspraktiken	Kontinuitäten und Veränderungen herausarbeiten
Ethik	Fairness, Autonomie, Verantwortung, Schaden, Abwägung	eine Werteabwägung begründen
Gemeinschaftskunde	Regeln, Rechte, demokratische Kontrolle, Rechenschaft	Zuständigkeiten und Widerspruchsmöglichkeiten analysieren

Entscheidungstraining: Einführen, testen oder ablehnen?

Du bist Mitglied einer schulischen Arbeitsgruppe. Die Schule möchte das beschriebene Lernempfehlungssystem einsetzen.

Bewerte das System mit diesen Kriterien:

Kriterium	Leitfrage	Deine Bewertung
Zweckklarheit	Ist genau beschrieben, was das System tun und nicht tun soll?
Zielgruppeneignung	Ist es für unterschiedliche Lernende zugänglich und verständlich?
Datenqualität	Sind die Daten passend, notwendig und ausreichend?
Leistungsfähigkeit	Werden passende Kennzahlen und Teilgruppen betrachtet?
Fairness	Gibt es auffällige Unterschiede oder Benachteiligungen?
Transparenz	Können Betroffene verstehen, was eine Empfehlung bedeutet?
Human Agency	Können Menschen sinnvoll widersprechen und korrigieren?
Sicherheit	Sind Zugriffe, Ausfälle und Missbrauch berücksichtigt?
Verhältnismäßigkeit	Ist der Nutzen groß genug, um Aufwand und Risiken zu rechtfertigen?

Formuliere danach genau eine der drei Entscheidungen und begründe sie mit mindestens drei Kriterien:

A: Einführen, weil ...

B: Zunächst nur als begrenzten Test einsetzen, wenn ...

C: Nicht einsetzen, weil ...

Eine gute Begründung kann Bedingungen enthalten. Verantwortliche Technikbewertung ist selten nur „pro“ oder „contra“.

Interaktive Aufgaben

Quiz: Teste Dein Wissen

Warum ist der Zweck eines KI-Systems wichtiger als nur seine technische Funktion? (Weil der Zweck bestimmt, wofür Ergebnisse verwendet werden und welche Folgen Fehler haben) (!Weil der Zweck die Rechenleistung automatisch erhöht) (!Weil der Zweck Trainingsdaten überflüssig macht) (!Weil der Zweck jede menschliche Entscheidung ersetzt)

Welche Gruppe muss bei einer Zielgruppenanalyse zusätzlich zu den direkten Nutzenden betrachtet werden? (Die von den Ergebnissen betroffenen Personen) (!Nur die Programmierenden) (!Nur die Personen mit den schnellsten Geräten) (!Nur die Personen, die das System bezahlt haben)

Was zeigt das Beispiel mit gleicher Gesamtgenauigkeit von 90 Prozent in zwei Gruppen? (Eine gleiche Gesamtgenauigkeit kann unterschiedliche Fehlerverteilungen verdecken) (!Gleiche Gesamtgenauigkeit beweist vollständige Fairness) (!Eine hohe Genauigkeit macht Zielgruppenanalyse unnötig) (!Prozentwerte können nie zur Systembewertung verwendet werden)

Welche Frage gehört besonders zur Datenkritik? (Wer in den Daten vorkommt und wer möglicherweise fehlt) (!Welche Farbe das Logo des Systems hat) (!Wie viele Menüschaltflächen die Startseite besitzt) (!Ob der Serverraum Fenster hat)

Was bedeutet Human Agency im Zusammenhang mit KI? (Menschen behalten echte Möglichkeiten zu verstehen, zu widersprechen und zu entscheiden) (!Menschen bestätigen automatisch jede Systemempfehlung) (!Das Modell übernimmt dauerhaft die Verantwortung) (!Alle Entscheidungen werden zufällig verteilt)

Was ist eine Zweckverschiebung? (Ein System wird später für einen anderen oder erweiterten Zweck genutzt) (!Ein Modell wird auf einen schnelleren Server kopiert) (!Eine Tabelle wird anders sortiert) (!Eine Nutzerin ändert ihr Passwort)

Warum ist eine einzelne Kennzahl oft nicht ausreichend? (Weil sie Unterschiede zwischen Fehlerarten oder Teilgruppen verdecken kann) (!Weil Kennzahlen grundsätzlich keine Zahlen enthalten dürfen) (!Weil Modelle nur mit Bildern getestet werden können) (!Weil mathematische Auswertung bei KI verboten ist)

Welche Aussage beschreibt ein sozio-technisches KI-System am besten? (Technik, Menschen, Organisation, Daten und Folgen wirken zusammen) (!Nur das trainierte Modell zählt als System) (!Nur die Benutzeroberfläche bestimmt das Ergebnis) (!Gesellschaftliche Folgen liegen immer außerhalb des Systems)

Welche Maßnahme stärkt verantwortliche menschliche Kontrolle? (Eine Lehrkraft kann eine Systemempfehlung prüfen und begründet verwerfen) (!Jede Empfehlung wird automatisch übernommen) (!Fehler werden vor Betroffenen verborgen) (!Widerspruchsmöglichkeiten werden entfernt)

Was ist bei einer Risikoabwägung sinnvoll? (Wahrscheinlichkeit, Schadenshöhe und Schutzmaßnahmen gemeinsam betrachten) (!Nur die Anschaffungskosten vergleichen) (!Nur erfolgreiche Fälle zählen) (!Alle Risiken als gleich schwer behandeln)

Memory

Zweck	Warum das System eingesetzt wird
Zielgruppe	Personen, für die das System geeignet sein soll
Betroffene	Personen, auf die Systemergebnisse Folgen haben
Trainingsdaten	Beispiele, aus denen ein lernendes Modell Muster ableitet
Modell	Berechnete Struktur für Vorhersagen oder Zuordnungen
Oberfläche	Schnittstelle, über die Menschen Ergebnisse wahrnehmen
Human Agency	Möglichkeit, eigenständig zu verstehen und zu entscheiden
Infrastruktur	Geräte, Netze, Speicher und Server für den Betrieb

Drag and Drop

Ordne die richtigen Begriffe zu.	Thema
Zweck	Welches Problem soll das System lösen?
Daten	Welche Informationen werden gesammelt und verarbeitet?
Modell	Welche Muster werden aus Eingaben berechnet?
Menschen	Wer prüft, entscheidet oder widerspricht?
Folgen	Welche Auswirkungen entstehen für Betroffene und Gesellschaft?

Kreuzworträtsel

Zielgruppe	Wie heißt die Gruppe, für die ein System vorgesehen ist?
Fairness	Welcher Begriff bezeichnet die Frage nach gerechter Behandlung?
Modell	Wie heißt die berechnete Struktur, die Muster für Ausgaben nutzt?
Daten	Woraus lernt ein maschinelles Lernverfahren typischerweise Muster?
Risiko	Welcher Begriff verbindet mögliche Schäden mit ihrer Eintrittswahrscheinlichkeit?
Kontrolle	Was müssen Menschen bei wichtigen Systementscheidungen wirksam behalten?

LearningApps

Lückentext

Ein KI-System sollte als

betrachtet werden. Der

beschreibt, warum das System eingesetzt wird. Die

bezeichnet Personen, für die das System vorgesehen ist. Zusätzlich müssen auch

berücksichtigt werden, die Folgen erleben, ohne das System selbst zu bedienen. Die Qualität der

beeinflusst, welche Muster ein lernendes System erkennen kann. Ein

erzeugt daraus Vorhersagen, Zuordnungen oder Empfehlungen. Die

beeinflusst, wie Menschen diese Ergebnisse wahrnehmen. Gute menschliche Kontrolle stärkt die

. Bei der Bewertung reicht eine hohe

nicht aus, wenn Fehler zwischen Teilgruppen ungleich verteilt sind. Eine Risikoanalyse betrachtet neben der Wahrscheinlichkeit auch die mögliche

. Eine verantwortliche Entscheidung prüft außerdem Transparenz, Sicherheit, Fairness und

.

Selbstkontrolle und Reflexion

Beantworte die folgenden Fragen ohne den Input-Text. Vergleiche danach Deine Antworten mit der Systemkarte.

Kann ich Funktion und Zweck mit einem eigenen Beispiel unterscheiden?
Kann ich Nutzende, Zielgruppe und Betroffene auseinanderhalten?
Kann ich mindestens zwei Datenprobleme benennen, die zu unfairen Ergebnissen führen könnten?
Kann ich erklären, warum gleiche Gesamtgenauigkeit unterschiedliche Fehler verdecken kann?
Kann ich eine Schutzmaßnahme nennen, die Human Agency stärkt?
Kann ich begründen, wann ein KI-System trotz technischer Leistungsfähigkeit nicht eingesetzt werden sollte?

Reflexionssatz: Ergänze schriftlich: „Bei einem KI-System trage ich Verantwortung, indem ich nicht nur auf die Ausgabe schaue, sondern auch ...“

Transfer: Neue Situation selbstständig bewerten

Eine Stadt möchte an stark befahrenen Schulwegen ein KI-System testen. Kameras sollen Verkehrssituationen automatisch auswerten und Stellen erkennen, an denen es häufig zu gefährlichen Beinahe-Situationen zwischen Fahrrädern, Autos und Fußgängerinnen oder Fußgängern kommt. Die Stadt möchte daraus Vorschläge für sichere Schulwege und bauliche Veränderungen ableiten.

Du erhältst keine fertige Lösung. Übertrage die Methode selbstständig.

Transfer-Systemkarte

Erstelle eine eigene Systemkarte mit genau diesen sieben Feldern:

Zweck: Formuliere einen engen und überprüfbaren Zweck.
Zielgruppe und Betroffene: Nenne direkte Nutzende, Betroffene und indirekt Betroffene.
Daten: Welche Daten wären notwendig, welche problematisch?
Modell: Was müsste erkannt oder geschätzt werden?
Oberfläche: Wie sollten Ergebnisse dargestellt werden, damit sie nicht als absolute Wahrheit erscheinen?
Menschen und Verantwortung: Wer muss prüfen, widersprechen und entscheiden können?
Infrastruktur und Folgen: Welche technischen Bedingungen und gesellschaftlichen Folgen sind zu berücksichtigen?

Entscheide anschließend:

Einsatz befürworten, nur als begrenzten Test zulassen oder Einsatz ablehnen.

Begründe Deine Entscheidung mit mindestens vier verschiedenen Perspektiven aus der Systemkarte und nenne mindestens eine Bedingung, unter der Du Deine Entscheidung ändern würdest.

Offene Aufgaben

Leicht

Zweck-Check: Wähle eine bekannte KI-Anwendung aus Deinem Alltag und formuliere Funktion, Zweck und eine klare Grenze des Einsatzes.
Zielgruppen-Porträt: Erstelle für ein KI-System drei kurze Profile: direkte Nutzende, Betroffene und verantwortliche Personen.
Daten-Fragen: Formuliere fünf kritische Fragen, die Du stellen würdest, bevor Daten für ein KI-System gesammelt werden.
Systemkarte kompakt: Zeichne die Kette Zweck → Daten → Modell → Ausgabe → Mensch → Folgen und ergänze zu jedem Pfeil eine mögliche Fehlerquelle.

Standard

Kennzahlen vergleichen: Erfinde ein kleines Beispiel mit zwei Gruppen, bei dem dieselbe Gesamtgenauigkeit unterschiedliche Fehlerarten verdeckt, und erkläre die Bedeutung.
Oberflächen-Experiment: Entwirf zwei Varianten derselben KI-Empfehlung, einmal sehr autoritär und einmal transparent und vorsichtig. Vergleiche, wie die Formulierung Entscheidungen beeinflussen könnte.
Risikomatrix: Erstelle für ein schulisches KI-System mindestens vier Risiken, schätze Wahrscheinlichkeit und Schadenshöhe ein und schlage Schutzmaßnahmen vor.
Stakeholder-Interview: Führe ein kurzes Interview mit einer Lehrkraft, einer Mitschülerin oder einem Mitschüler oder einer Person aus der IT über Erwartungen und Sorgen beim KI-Einsatz. Werte Gemeinsamkeiten und Unterschiede aus.

Schwer

KI-Audit: Untersuche ein öffentlich beschriebenes KI-System anhand von Zweck, Zielgruppe, Daten, Modell, Oberfläche, Menschen, Infrastruktur und Folgen. Kennzeichne klar, was belegt und was nur vermutet ist.
Entscheidungsvorlage: Verfasse eine einseitige Vorlage für eine Schulleitung mit den Optionen Einführen, Pilotieren oder Ablehnen. Verwende mindestens fünf Kriterien und benenne Unsicherheiten.
Perspektivwechsel: Beurteile dasselbe KI-System nacheinander aus Sicht einer lernenden Person, einer Lehrkraft, eines Anbieters, einer Datenschutzbeauftragten und eines Schulträgers. Zeige Zielkonflikte.
Transfer-Fall: Entwickle eine neue Anwendungssituation aus Verkehr, Ausbildung, Verwaltung oder Wirtschaft. Erstelle Systemkarte, Datenprüfung, Risikomatrix und eine begründete Entscheidung mit Bedingungen.

Lernkontrolle

Zweckwechsel analysieren: Ein Modell, das ursprünglich freiwillige Übungsaufgaben empfiehlt, soll künftig automatisch über Förderkurse entscheiden. Erkläre, welche Bestandteile der Systembewertung neu geprüft werden müssen und warum.
Kennzahl auswählen: Ein System soll gefährliche Situationen erkennen. Begründe, welche Fehlerart besonders kritisch sein könnte und warum eine allgemeine Genauigkeitszahl für die Entscheidung nicht reicht.
Zielkonflikt bewerten: Ein genaueres Modell benötigt deutlich mehr personenbezogene Daten. Entwickle mindestens zwei mögliche Handlungsoptionen und begründe, welche Du bevorzugst.
Human Agency prüfen: Eine Person darf einen KI-Vorschlag zwar formal ablehnen, muss dafür aber ein langes Verfahren durchlaufen. Beurteile, ob damit echte menschliche Kontrolle gegeben ist.
Systemgrenze erweitern: Ein Anbieter behauptet, nur das Modell sei für Fehler verantwortlich. Widerlege diese Aussage mit mindestens vier Bestandteilen des sozio-technischen Systems.
Transferentscheidung: Wähle ein neues KI-Szenario und formuliere eine Entscheidung nach dem Muster „Ja, wenn ...“, „Noch nicht, bis ...“ oder „Nein, weil ...“. Stütze sie auf Daten, Risiken, Zielgruppe und Verantwortlichkeit.

Lernnachweis

Für einen guten Lernnachweis zu diesem Thema ist wichtig, dass Du nicht nur Begriffe wiedergibst, sondern Zusammenhänge sichtbar machst.

Du formulierst den Zweck eines KI-Systems präzise und überprüfbar.
Du unterscheidest Funktion, Zweck, Zielgruppe, Nutzende und Betroffene.
Du erstellst eine nachvollziehbare Systemkarte.
Du erklärst, wie Daten, Modell, Oberfläche und menschliche Entscheidungen zusammenwirken.
Du wertest mindestens eine Kennzahl mathematisch aus und nennst ihre Grenzen.
Du identifizierst mögliche Verzerrungen und Fairnessprobleme.
Du bewertest Risiken nach Wahrscheinlichkeit, Schadenshöhe und Schutzmaßnahmen.
Du benennst Verantwortlichkeiten und Möglichkeiten für Widerspruch und Korrektur.
Du prüfst technische Infrastruktur und wirtschaftliche Interessen.
Du formulierst eine eigene Entscheidung und begründest sie mit mehreren Kriterien.
Du überträgst die Methode auf eine neue Situation, ohne nur eine Musterlösung zu wiederholen.

OERs zum Thema

Wikipedia: Künstliche Intelligenz

Wikipedia: Maschinelles Lernen

Wikipedia: Algorithmic Bias

Quellen und Vertiefung

Verknüpfte Lernbereiche

Zweck und Zielgruppe eines KI-Systems untersuchen

aiMOOC-Projekte

Inhalte werden geladen ...

Mediathek wird aus dem Wiki geladen ...

Frag mich zum aktuellen Lerninhalt oder wähle eine kurze Hilfe.

Textmodus bereit

Sprache