Diesen aiMOOC als Battle spielen: Deutsch, Klasse 9-10, G-Niveau

Autonomie und Kontrolle bei KI abwägen

Einleitung

Künstliche Intelligenz kann Menschen unterstützen, Vorschläge machen, Entscheidungen vorbereiten oder – wenn ein System entsprechend gestaltet und berechtigt wird – mehrere Arbeitsschritte weitgehend selbstständig ausführen. Je mehr ein KI-System planen, Werkzeuge benutzen, Daten abrufen oder Aktionen auslösen darf, desto wichtiger wird die Frage: Wie viel Autonomie ist sinnvoll, und an welchen Stellen braucht es menschliche Kontrolle?

In diesem aiMOOC lernst Du diese Frage nicht mit einer einfachen Regel wie „mehr Automatisierung ist gut“ oder „Menschen müssen immer alles selbst machen“ zu beantworten. Stattdessen untersuchst Du Ziele, Risiken, Folgen, Berechtigungen und Kontrollpunkte eines Systems. Du entwirfst ein verantwortliches Systemdesign, legst Prüf- und Freigaberegeln fest, wertest Fehler aus und überträgst Deine Kriterien am Ende auf einen neuen Fall.

Der Kurs richtet sich vor allem an Klasse 10 und ist für etwa 75 bis 90 Minuten ausgelegt. Für eine einzelne Unterrichtsstunde können die Vertiefungen gekürzt werden. Fachübergreifend verbindet der Kurs Informatik, Mathematik, Technik, Deutsch, Wirtschaft, Geschichte, Ethik und Gemeinschaftskunde.

Leitfrage: Wann sollte eine KI selbstständig handeln dürfen – und wann muss ein Mensch prüfen, freigeben, stoppen oder Verantwortung übernehmen?

Die Grafik zeigt einen möglichen Lebenszyklus eines KI-Systems mit wiederkehrenden Prüf- und Nachweisstellen. Sie macht sichtbar: Kontrolle ist kein einzelner Knopf am Ende, sondern kann schon bei Zweck, Daten, Entwicklung, Freigabe, Betrieb, Störungen und Weiterentwicklung eingebaut werden.

Lernziele

Nach dem Kurs kannst Du erklären, was mit einem agentischen beziehungsweise stärker automatisierten KI-System gemeint ist, und es von einem einfachen Chatbot oder einem starren Workflow unterscheiden. Du kannst für einen konkreten Anwendungsfall Ziele, Grenzen, Berechtigungen, Freigaben, Protokolle und menschliche Kontrollpunkte festlegen. Du kannst die Qualität eines Systems mit geeigneten Kriterien untersuchen, unterschiedliche Fehlerarten bewerten, Risiken und Nutzen gegeneinander abwägen und Deine Entscheidung nachvollziehbar begründen. Außerdem kannst Du Deine Kriterien auf einen neuen Fall übertragen, ohne Dich auf eine bestimmte Marke oder ein bestimmtes Produkt zu stützen.

Unterrichtsfahrplan für 1–2 Stunden

Phase	Zeit	Tätigkeit	Schwerpunkt
Aktivierung und Diagnose	8–10 Minuten	Kurze Entscheidungen zu Alltagssituationen	Vorwissen, Intuition, Verantwortung
Verständliche Einführung	15 Minuten	Autonomiespektrum, Agenten, Ziele, Werkzeuge, Grenzen	Systemverständnis
Anwendungssituation	20–25 Minuten	Schulischer KI-Assistent wird entworfen	Systemdesign, Freigaben, Protokolle
Evaluation und Folgenabschätzung	20 Minuten	Fehler, Kennzahlen, Fairness, Sicherheit, Governance	Mathematik, Ethik, Gemeinschaftskunde
Reflexion und Transfer	15–20 Minuten	Neuer Fall, begründete Entscheidung	Human Agency, Transfer

Aktivierung und Diagnose

Stell Dir vor, eine KI hilft bei einer Klassenfahrt. Sie kann Recherchen durchführen, Preise vergleichen, E-Mails entwerfen und Termine prüfen. Manche Handlungen sind leicht rückgängig zu machen, andere nicht.

Ordne für Dich spontan ein, ob die KI die folgenden Schritte selbstständig, nur nach menschlicher Freigabe oder gar nicht ausführen sollte:

Informationen zu Zugverbindungen sammeln und Quellen angeben.
Drei Reiseoptionen mit Kosten und Fahrzeiten vergleichen.
Eine E-Mail an die Klasse entwerfen.
Die E-Mail ohne Kontrolle an Eltern und Lernende versenden.
Für die Klasse kostenpflichtige Tickets verbindlich buchen.
Gesundheitsdaten einzelner Lernender auslesen, um das Programm anzupassen.

Notiere zu zwei Entscheidungen je einen Satz: Welcher mögliche Schaden wäre hier entscheidend? Vergleiche danach mit einer Partnerin oder einem Partner. Unterschiedliche Entscheidungen sind erlaubt, wenn sie begründet werden.

Diagnosefrage: Was bedeutet Kontrolle?

Kontrolle heißt in diesem Kurs nicht, jede einzelne Rechenoperation einer KI zu beobachten. Gemeint sind gezielt gestaltete Möglichkeiten, das System zu begrenzen, zu prüfen, zu korrigieren, zu stoppen und zur Verantwortung zuzuordnen. Dazu gehören zum Beispiel Rollen, Berechtigungen, Freigaben, Protokolle, Warnschwellen und sichere Abbruchmöglichkeiten.

KI-Systeme zwischen Assistenz und Eigenständigkeit

Vom Chatbot zum agentischen System

Ein gewöhnlicher Chatbot reagiert meist auf eine Eingabe und erzeugt eine Antwort. Ein stärker automatisiertes oder agentisches KI-System kann dagegen ein Ziel über mehrere Schritte verfolgen. Es kann zum Beispiel Teilaufgaben planen, Zwischenergebnisse prüfen, digitale Werkzeuge benutzen, Informationen aus verschiedenen Quellen zusammenführen und abhängig vom Ergebnis den nächsten Schritt auswählen.

Agentisch bedeutet dabei nicht, dass die KI bewusst ist oder eigene menschliche Absichten besitzt. Der Begriff beschreibt hier eine Systemeigenschaft: Das System erhält ein Ziel, hat bestimmte Handlungsmöglichkeiten und kann innerhalb vorgegebener Grenzen mehrere Schritte selbst auswählen und ausführen.

Typische Bausteine eines solchen Systems sind ein Ziel, ein Modell zur Verarbeitung und Planung, Werkzeuge oder Schnittstellen, ein Arbeitsgedächtnis beziehungsweise Zustandsinformationen, Regeln für Abbruch und Freigabe sowie Protokolle über wichtige Aktionen.

Die Wahrnehmen–Entscheiden–Handeln-Schleife ist ein einfaches Modell, um agentisches Verhalten zu verstehen: Das System nimmt Informationen auf, entscheidet über einen nächsten Schritt, handelt und erhält neue Informationen. Gerade weil sich diese Schleife wiederholen kann, müssen Grenzen und Stopppunkte vorher geklärt werden.

Das Video der Max-Planck-Gesellschaft eignet sich als Vertiefung: Achte beim Ansehen darauf, welche Chancen durch selbstständig handelnde Systeme entstehen und welche Risiken zunehmen, wenn viele Aktionen ohne wirksame Kontrolle verkettet werden.

Ein Autonomiespektrum als Denkmodell

Die folgenden Stufen sind kein offizieller Standard, sondern ein Unterrichtsmodell zum Vergleichen von Systemdesigns:

Stufe	Rolle der KI	Beispiel	Typischer menschlicher Kontrollpunkt
Assistenz	liefert Vorschläge	formuliert drei Varianten für eine Nachricht	Mensch wählt und überarbeitet
Teilautomatisierung	führt festgelegte Schritte aus	sortiert Daten nach klaren Regeln	Mensch prüft Ausnahmen
Agentischer Ablauf	plant mehrere Schritte und wählt Werkzeuge	recherchiert, vergleicht und erstellt einen Vorschlag	Freigabe vor externer Aktion
Hohe operative Autonomie	handelt über längere Zeit innerhalb weiter Berechtigungen	überwacht einen Prozess und reagiert selbstständig	laufendes Monitoring, Eingriffsrecht, Stopppunkt

Je höher die mögliche Eigenständigkeit, desto wichtiger werden Fragen nach Reichweite, Fehlerfolgen, Rückholbarkeit, Berechtigungen und menschlicher Eingriffsmöglichkeit. Ein System muss nicht maximal autonom sein, um nützlich zu sein. Häufig ist eine kleinere, klar begrenzte Automatisierung zuverlässiger und leichter zu kontrollieren.

Mehrstufige Aufgaben: Warum kleine Fehler groß werden können

Bei einer Aufgabe mit nur einem Schritt bleibt ein Fehler oft lokal. Bei einer Kette aus zehn Schritten kann ein früher Fehler weitere Entscheidungen beeinflussen. Ein falscher Preis kann etwa eine ungeeignete Reiseoption bevorzugen; daraus können falsche Buchungen, falsche Nachrichten und zusätzliche Kosten entstehen.

Deshalb braucht ein mehrstufiges System nicht nur ein Endziel, sondern auch Regeln für Zwischenschritte. Sinnvoll sind beispielsweise Grenzwerte, Pflichtquellen, Plausibilitätsprüfungen, Abbruchbedingungen und Freigaben vor schwer rückgängig zu machenden Aktionen.

Systemdesign: Autonomie gezielt begrenzen

Das Z-G-B-F-P-K-Modell

Für diesen Kurs kannst Du ein KI-System mit sechs Fragen entwerfen:

Baustein	Leitfrage	Beispiel für die Klassenfahrt
Ziel	Was soll das System erreichen?	Drei passende Reiseoptionen vorbereiten
Grenzen	Was darf es ausdrücklich nicht tun?	Keine Gesundheitsdaten verwenden, keine kostenpflichtige Buchung auslösen
Berechtigungen	Auf welche Daten und Werkzeuge darf es zugreifen?	Öffentliche Fahrpläne und freigegebene Kostentabelle
Freigaben	Welche Aktionen brauchen vorher menschliche Zustimmung?	Versand externer E-Mails und jede verbindliche Reservierung
Protokolle	Was muss nachvollziehbar gespeichert werden?	Quellen, Preisstände, verwendete Regeln, ausgeführte Aktionen
Kontrollpunkte	Wo prüft ein Mensch und kann stoppen?	Vor Veröffentlichung, Buchung und Verarbeitung sensibler Daten

Dieses Modell stärkt Human Agency: Der Mensch bleibt nicht nur „irgendwo im Hintergrund“, sondern erhält eine klar definierte Rolle mit Information, Entscheidungsmacht und Eingriffsmöglichkeit.

Governance bedeutet, Regeln und Verantwortlichkeiten so zu gestalten, dass nicht erst nach einem Fehler gefragt wird, wer zuständig war. Die Grafik trennt Entscheidungsbefugnis, operative Verantwortung und unabhängige Prüfung. Für die Schule reicht oft eine vereinfachte Rollenverteilung: Wer legt Regeln fest? Wer bedient das System? Wer prüft? Wer darf stoppen?

Human in the loop, human on the loop und human in command

Human in the loop bedeutet, dass ein Mensch an bestimmten Stellen aktiv entscheiden oder bestätigen muss. Human on the loop bedeutet, dass ein System weitgehend selbstständig arbeitet, aber überwacht wird und der Mensch eingreifen kann. Human in command betont, dass Menschen Ziele, Einsatzgrenzen und Verantwortlichkeiten bestimmen und das System notfalls abschalten oder aus dem Prozess nehmen können.

Die Begriffe werden nicht überall exakt gleich verwendet. Entscheidend ist deshalb weniger das Etikett als die konkrete Frage: Welche Information bekommt der Mensch, wann kann er eingreifen und besitzt er tatsächlich die nötige Kompetenz und Befugnis?

Freigaben nach Risikoklasse gestalten

Eine einfache Gestaltungsregel lautet: Je größer der mögliche Schaden und je schwerer eine Handlung rückgängig zu machen ist, desto stärker sollte die Freigabe sein.

Handlung	Rückgängig machbar?	Mögliche Folge	Sinnvolle Kontrolle
internen Entwurf erstellen	leicht	geringe direkte Wirkung	Stichprobe
Nachricht extern versenden	teilweise	Fehlinformation, Rufschaden	Freigabe vor Versand
personenbezogene Daten weitergeben	schwer	Datenschutzverletzung	grundsätzlich blockieren oder besonders strenge Freigabe
Zahlung auslösen	teilweise bis schwer	finanzieller Schaden	klare Betragsgrenze und menschliche Freigabe
sicherheitskritische Steuerung auslösen	möglicherweise nicht	körperlicher Schaden	strenge technische Grenzen und wirksame menschliche Aufsicht

Evaluation: Funktioniert das System wirklich gut genug?

Ein System ist nicht allein deshalb gut, weil es häufig eine plausible Antwort gibt. Evaluation bedeutet, vorher festzulegen, woran Erfolg, Fehler und unerwünschte Folgen erkannt werden.

Technische und gesellschaftliche Kriterien

Für die Evaluation kannst Du mehrere Perspektiven kombinieren: Richtigkeit, Zuverlässigkeit, Sicherheit, Datenschutz, Fairness, Verständlichkeit, Nachvollziehbarkeit, Kosten, Zeitgewinn und die Möglichkeit, Entscheidungen anzufechten. Ein System kann bei einem Kriterium stark und bei einem anderen problematisch sein.

In der Informatik prüfst Du etwa, ob das System bei typischen und ungewöhnlichen Eingaben stabil reagiert. In der Mathematik vergleichst Du Fehlerarten und Kennzahlen. In der Ethik fragst Du, wer belastet wird und ob Menschen fair behandelt werden. In der Gemeinschaftskunde und im Recht ist wichtig, ob Betroffene informiert sind und Entscheidungen wirksam hinterfragen können.

Eine Konfusionsmatrix zeigt, dass „falsch“ nicht immer dasselbe bedeutet. Bei einem System, das Risiken erkennt, kann ein falscher Alarm andere Folgen haben als ein übersehenes echtes Risiko. Welche Fehlerart schwerer wiegt, hängt vom Kontext ab.

Mathematische Folgenabschätzung

Für eine erste grobe Risikobetrachtung kann die Heuristik

Risiko ≈ Eintrittswahrscheinlichkeit × Schadensausmaß

helfen. Sie ist keine vollständige mathematische Wahrheit, sondern ein Denkwerkzeug. Ein seltenes Ereignis kann trotzdem wichtig sein, wenn der mögliche Schaden sehr groß ist. Umgekehrt kann ein häufiges, aber leicht korrigierbares Problem weniger streng behandelt werden.

Beispiel: Wenn eine KI bei hundert Vorschlägen fünfmal eine falsche Quelle nennt, ist die reine Fehlerquote 5 %. Ob das akzeptabel ist, hängt davon ab, wofür die Vorschläge verwendet werden. Bei einer unverbindlichen Ideensammlung ist das anders zu bewerten als bei einer Entscheidung über Gesundheit, Sicherheit oder Rechte.

Testen, bevor reale Folgen entstehen

Vor dem Einsatz sollte ein System mit realistischen Testfällen geprüft werden. Dazu gehören Normalfälle, Grenzfälle, absichtlich schwierige Eingaben und Situationen, in denen Werkzeuge ausfallen oder Informationen widersprüchlich sind. Wichtig ist außerdem, das Verhalten während des Betriebs zu beobachten, weil sich Daten, Umgebung und Nutzung verändern können.

Eine gute Evaluation fragt deshalb nicht nur: „Wie oft war die KI richtig?“ Sondern auch: „Bei wem tritt welcher Fehler auf? Unter welchen Bedingungen? Wie schnell wird er erkannt? Wie kann er korrigiert werden?“

Sicherheit, Transparenz und Quellenkritik

Protokolle: Nachvollziehbarkeit statt unsichtbarer Automatisierung

Ein Protokoll kann festhalten, welche Quelle verwendet wurde, welche Aktion ausgeführt wurde, wer sie freigegeben hat und wann ein Grenzwert überschritten wurde. Protokolle helfen bei Fehlersuche und Verantwortung. Sie sollen jedoch nicht grenzenlos personenbezogene Daten sammeln. Auch Protokollierung braucht Zweckbindung, Zugriffsschutz und angemessene Aufbewahrung.

Die Grafik zur Beobachtbarkeit eines KI-Systems erinnert daran, dass nicht nur ein einzelner Modellwert wichtig ist. Auch Infrastruktur, Modellverhalten und Ausgaben können überwacht werden. In einem schulischen Beispiel reichen oft schon einfache Nachweise: Quellenliste, Zeitstempel, verwendete Regeln und dokumentierte Freigaben.

Quellenkritik bei automatischer Recherche

Wenn eine KI im Internet recherchiert, solltest Du nie nur prüfen, ob sie eine Quelle nennt. Frage auch:

Wer hat die Quelle veröffentlicht?
Ist sie aktuell und für die konkrete Behauptung zuständig?
Wird die Aussage durch weitere unabhängige Quellen gestützt?
Vermischt die KI Tatsache, Prognose und Meinung?
Ist erkennbar, wann die Information abgerufen wurde?

Im Fach Deutsch kannst Du daraus eine Argumentationsaufgabe machen: Begründe, warum eine schnelle, sprachlich überzeugende Antwort trotzdem quellenkritisch geprüft werden muss. In Geschichte ist der Quellenkontext besonders wichtig, weil Perspektive, Entstehungszeit und Überlieferung die Aussagekraft beeinflussen.

Transparenz und Erklärbarkeit

Transparenz bedeutet nicht, dass jeder Mensch alle technischen Details verstehen muss. Es sollte aber erkennbar sein, dass KI eingesetzt wird, wozu sie eingesetzt wird, welche wesentlichen Grenzen bestehen und wie ein Ergebnis zustande gekommen oder geprüft worden ist. Bei folgenreichen Entscheidungen braucht es außerdem Wege für Rückfragen, Korrektur und gegebenenfalls Widerspruch.

Datei:Ethik bei KI in der Medizin – Warum es wichtig ist dass KI transparent ist und Schlussfolgerungen erklären kann.webm

Das frei lizenzierte Video zeigt am Beispiel Medizin, warum Erklärbarkeit und Transparenz wichtig werden, sobald KI-Ausgaben menschliche Entscheidungen mitprägen. Übertrage die Idee auf Schule: Welche Informationen müsste eine betroffene Person erhalten, wenn ein KI-System eine Empfehlung über sie erstellt?

Governance: Wer legt Regeln fest und wer trägt Verantwortung?

Governance ist die Gesamtheit von Rollen, Regeln, Verfahren und Kontrollen, mit denen ein KI-System verantwortlich betrieben wird. Dazu gehören Zuständigkeiten, Schulungen, Prüfverfahren, Beschwerdewege, Dokumentation, Sicherheitsmaßnahmen und Entscheidungen darüber, wann ein System geändert oder außer Betrieb genommen wird.

Ein hilfreiches internationales Risikomanagement-Modell unterscheidet die Funktionen Govern, Map, Measure, Manage: Regeln und Verantwortung etablieren, Kontext und Risiken erfassen, Risiken messen beziehungsweise bewerten und anschließend passende Maßnahmen ergreifen. Diese Funktionen sind keine einmalige Checkliste, sondern werden über den Lebenszyklus wiederholt.

Auch europäische Regulierung betont bei bestimmten Hochrisiko-KI-Systemen die menschliche Aufsicht. Entscheidend ist dabei, dass die Aufsicht dem Risiko, dem Grad der Autonomie und dem Nutzungskontext angemessen ist. Für den Unterricht bedeutet das nicht, jeden schulischen KI-Einsatz automatisch als Hochrisiko-Fall einzustufen. Es zeigt aber ein wichtiges Prinzip: Kontrollmaßnahmen sollen zum möglichen Schaden passen.

Fächerübergreifende Perspektiven

Fach	Leitfrage	Möglicher Beitrag
Informatik	Wie ist das System technisch aufgebaut?	Rollen, Schnittstellen, Berechtigungen, Logging, Tests
Mathematik	Wie werden Fehler und Unsicherheit quantifiziert?	Häufigkeiten, Fehlerraten, Konfusionsmatrix, Risikoabschätzung
Technik	Wie werden sichere Grenzen umgesetzt?	Sensoren, Aktoren, Fail-safe, Redundanz, Abschaltung
Deutsch	Wie werden Ziele, Regeln und Begründungen sprachlich präzise?	Promptanalyse, Quellenkritik, Argumentation
Wirtschaft	Welche Nutzen und Kosten entstehen?	Effizienz, Haftungsrisiken, Qualitätskosten, Arbeitsorganisation
Geschichte	Wie verändert Automatisierung Arbeit und Macht?	Vergleich früherer Automatisierungsschübe mit digitaler Steuerung
Ethik	Welche Werte dürfen nicht dem Effizienzziel untergeordnet werden?	Autonomie, Fairness, Verantwortung, Würde
Gemeinschaftskunde	Wer darf Regeln setzen und Entscheidungen anfechten?	Grundrechte, Aufsicht, demokratische Kontrolle, Regulierung

Anwendungssituation: Der agentische Klassenfahrt-Assistent

Eine Schule möchte einen KI-Assistenten erproben. Er soll für eine Klassenfahrt geeignete Ziele recherchieren, Fahrzeiten vergleichen, Kosten überschlagen, Barrierefreiheit prüfen und einen Zeitplan vorschlagen. Außerdem könnte er E-Mails vorbereiten und – mit zusätzlichen Berechtigungen – Reservierungen auslösen.

Die Schulleitung möchte Zeit sparen. Die Klasse möchte mitbestimmen. Eltern erwarten Datenschutz. Lehrkräfte tragen Verantwortung für Organisation und Aufsicht.

Systemdesign-Auftrag

Entwirf ein System, das nützlich ist, aber nicht unnötig viele Rechte erhält. Fülle dazu gedanklich oder auf Papier die folgende Tabelle aus:

Entscheidung	Deine Festlegung	Begründung
Hauptziel		Welche Aufgabe soll wirklich automatisiert werden?
Erlaubte Daten		Welche Daten sind notwendig?
Verbotene Daten		Welche Daten wären unnötig oder zu sensibel?
Erlaubte Werkzeuge		Was darf die KI lesen, berechnen oder vergleichen?
Externe Aktionen		Was darf sie selbst auslösen?
Freigabepunkte		Wo muss ein Mensch zustimmen?
Protokollierung		Was muss für Nachvollziehbarkeit festgehalten werden?
Stop-Regel		Wann wird der Ablauf automatisch oder manuell beendet?

Beispiel für eine verantwortliche Lösung

Eine mögliche Lösung wäre: Die KI darf öffentliche Fahrpläne und freigegebene Kosteninformationen lesen, mehrere Optionen vergleichen und einen Entwurf erstellen. Sie darf keine sensiblen Gesundheitsdaten abrufen und keine Zahlung auslösen. Externe Nachrichten und Reservierungen benötigen menschliche Freigabe. Quellen, Berechnungsschritte und Freigaben werden dokumentiert. Wenn Preise stark abweichen, Quellen widersprüchlich sind oder eine notwendige Information fehlt, stoppt das System und fordert eine menschliche Entscheidung an.

Diese Lösung ist nicht automatisch die einzig richtige. Entscheidend ist, dass die gewählte Autonomie begründet, begrenzt und überprüfbar ist.

Folgenabschätzung

Bevor ein System eingesetzt wird, solltest Du mögliche Auswirkungen auf verschiedene Gruppen betrachten. Frage nicht nur nach dem Durchschnittsnutzen.

Betroffene Gruppe	Möglicher Nutzen	Mögliches Risiko	Gegenmaßnahme
Lernende	mehr Mitgestaltung, schnellere Vergleiche	ungeprüfte Empfehlungen oder Benachteiligung	transparente Kriterien, Beschwerdemöglichkeit
Lehrkräfte	weniger Routinearbeit	zu starke Abhängigkeit von Vorschlägen	Pflichtprüfung bei wichtigen Entscheidungen
Eltern	schnellere Information	Datenschutzprobleme	Datensparsamkeit, klare Information
Schule	effizientere Organisation	Haftungs- und Reputationsschäden	Zuständigkeiten, Freigaben, Protokolle

Eine Folgenabschätzung sollte auch unbeabsichtigte Effekte berücksichtigen: Verlernen Menschen wichtige Fähigkeiten? Werden bestimmte Gruppen systematisch schlechter erfasst? Entsteht eine Scheinsicherheit, weil ein Ergebnis professionell formuliert ist? Wird ein einmal eingeführtes System später für andere Zwecke verwendet, für die es nicht getestet wurde?

Gestaltung: Kontrollpunkte sichtbar machen

Autonome Fahrzeuge veranschaulichen, dass ein KI-System mit der realen Welt über Sensoren und Aktoren verbunden sein kann. Sobald Software nicht nur Text erzeugt, sondern physische oder wirtschaftliche Folgen auslösen kann, muss das Systemdesign besonders sorgfältig mit Grenzen, Redundanz, Fehlererkennung und Eingriffsmöglichkeiten umgehen.

Für digitale Agenten gilt ein ähnliches Prinzip: Eine Suchfunktion ist weniger folgenreich als ein Werkzeug, das E-Mails versendet, Konten verändert oder Zahlungen auslöst. Werkzeugzugriff ist deshalb eine Form von Macht. Gute Gestaltung vergibt nur die Berechtigungen, die für das Ziel nötig sind.

Kontrollpunkt-Muster

Ein praxistaugliches Muster ist: Planen → Prüfen → Freigeben → Handeln → Protokollieren → Beobachten. Nicht jede Aufgabe braucht alle Schritte gleich stark. Aber je folgenreicher eine Aktion ist, desto wichtiger werden Prüfung und Freigabe.

Ein weiteres Muster ist die Eskalation: Solange das System innerhalb klarer Grenzen bleibt, arbeitet es automatisch. Sobald Unsicherheit, Konflikte oder Grenzwerte auftreten, übergibt es an einen Menschen. Damit ein solcher Mechanismus funktioniert, müssen die Übergabekriterien vorher festgelegt werden.

Interaktive Aufgaben

Quiz: Teste Dein Wissen

Warum brauchen mehrstufige KI-Aufgaben besondere Kontrollpunkte? (Frühe Fehler können sich auf spätere Schritte auswirken) (!Mehrstufige Aufgaben sind immer langsamer als Menschen) (!Jeder Schritt muss von derselben Person programmiert werden) (!Eine KI kann immer nur einen Schritt gleichzeitig ausführen)

Was beschreibt agentisches Verhalten in diesem Kurs am besten? (Ein System verfolgt ein Ziel über mehrere Schritte und kann innerhalb von Grenzen Werkzeuge wählen) (!Ein System besitzt ein menschliches Bewusstsein) (!Ein System schreibt ausschließlich längere Texte) (!Ein System arbeitet grundsätzlich ohne Regeln)

Welcher Kontrollpunkt ist vor einer kostenpflichtigen Buchung besonders sinnvoll? (Menschliche Freigabe vor dem Auslösen der Zahlung) (!Automatisches Löschen aller Quellen) (!Verzicht auf jede Protokollierung) (!Erhöhung der Textlänge der KI-Antwort)

Welche Aussage zu Protokollen trifft zu? (Sie können wichtige Quellen, Aktionen und Freigaben nachvollziehbar machen) (!Sie ersetzen jede menschliche Verantwortung) (!Sie sollten immer unbegrenzt alle personenbezogenen Daten speichern) (!Sie verhindern automatisch jede Fehlentscheidung)

Was ist ein gutes Beispiel für Datenminimierung? (Nur Daten verwenden, die für das festgelegte Ziel notwendig sind) (!Möglichst viele Daten sammeln, falls sie später nützlich werden) (!Sensible Daten ohne Zweck speichern) (!Alle verfügbaren Daten öffentlich machen)

Wozu dient eine Konfusionsmatrix bei der Evaluation? (Sie macht unterschiedliche Arten richtiger und falscher Zuordnungen sichtbar) (!Sie beweist, dass ein System fair ist) (!Sie verhindert jede Form von Unsicherheit) (!Sie ersetzt die Festlegung eines Testziels)

Wann sollte ein automatisierter Ablauf sinnvoll eskalieren? (Wenn Unsicherheit oder festgelegte Grenzwerte eine menschliche Entscheidung erforderlich machen) (!Nur wenn das System gar keine Ausgabe erzeugt) (!Immer erst nach einer externen Aktion) (!Nie, weil Eskalation Automatisierung verhindert)

Was bedeutet Human Agency im Kontext dieses Kurses? (Menschen behalten wirksame Möglichkeiten zu verstehen, entscheiden und eingreifen) (!Menschen geben grundsätzlich jede Routineaufgabe an KI ab) (!KI-Systeme erhalten unbegrenzte Berechtigungen) (!Menschliche Entscheidungen werden vollständig vermieden)

Welche Frage gehört zu einer Folgenabschätzung? (Welche Gruppen können profitieren oder belastet werden) (!Wie lässt sich jede Aufgabe maximal automatisieren) (!Welche Marke hat die längste Produktbeschreibung) (!Wie kann man auf Tests vollständig verzichten)

Warum reicht eine hohe durchschnittliche Trefferquote allein nicht für die Bewertung? (Weil Fehlerarten, betroffene Gruppen und mögliche Schäden zusätzlich betrachtet werden müssen) (!Weil Zahlen bei KI grundsätzlich nutzlos sind) (!Weil ein gutes System niemals Fehler machen darf) (!Weil nur die Geschwindigkeit eines Systems wichtig ist)

Memory

Ziel	gewünschtes Ergebnis des Systems
Grenze	ausdrücklich ausgeschlossener Handlungsspielraum
Freigabe	Zustimmung vor einer folgenreichen Aktion
Protokoll	nachvollziehbare Aufzeichnung wichtiger Schritte
Eskalation	Übergabe an einen Menschen bei Unsicherheit oder Grenzwert
Evaluation	systematische Prüfung von Qualität und Folgen
Governance	Regeln, Rollen und Verfahren für verantwortlichen Betrieb
Fairness	angemessene und nicht diskriminierende Behandlung

Drag and Drop

Ordne die richtigen Begriffe zu.	Thema
Freigabepunkt	Zahlung erst nach menschlicher Zustimmung
Datenminimierung	nur notwendige Informationen verwenden
Protokollierung	wichtige Aktionen nachvollziehbar festhalten
Eskalation	bei Unsicherheit an einen Menschen übergeben
Evaluation	System mit festgelegten Kriterien prüfen
Governance	Rollen und Verantwortlichkeiten verbindlich regeln

Kreuzworträtsel

Aufsicht	Wie heißt die menschliche Überwachung eines KI-Systems?
Protokoll	Wie nennt man die nachvollziehbare Aufzeichnung wichtiger Systemaktionen?
Freigabe	Welcher Begriff bezeichnet die Zustimmung vor einer kritischen Aktion?
Fairness	Welcher Begriff steht für angemessene und nicht diskriminierende Behandlung?
Kontrolle	Wie heißt die Möglichkeit, ein System zu prüfen, zu begrenzen oder zu stoppen?
Transparenz	Welcher Begriff beschreibt die Nachvollziehbarkeit von Einsatz, Zweck und Grenzen eines Systems?

LearningApps

Lückentext

Ein agentisches KI-System kann ein Ziel über mehrere

verfolgen. Eine folgenreiche externe Aktion sollte häufig erst nach einer menschlichen

ausgeführt werden. Für Nachvollziehbarkeit werden wichtige Quellen und Aktionen in einem

festgehalten. Wenn Unsicherheit oder ein Grenzwert auftritt, kann das System an einen Menschen

. Bei der Evaluation müssen nicht nur Trefferquoten, sondern auch unterschiedliche

betrachtet werden. Eine Folgenabschätzung untersucht mögliche Auswirkungen auf verschiedene

. Datenminimierung bedeutet, nur für den Zweck

Informationen zu verwenden. Governance klärt Regeln, Rollen und

. Human Agency verlangt wirksame Möglichkeiten zum Verstehen, Entscheiden und

. Gute Kontrolle wird bereits im

berücksichtigt.

Offene Aufgaben

Leicht

Autonomiespektrum: Ordne fünf alltägliche KI-Anwendungen von geringer bis höherer Eigenständigkeit und begründe zwei Grenzfälle.
Kontrollpunkt: Zeichne für den Klassenfahrt-Assistenten einen Ablauf mit mindestens zwei menschlichen Freigabepunkten.
Quellenkritik: Vergleiche zwei Quellen zu derselben KI-Behauptung und notiere Autor, Aktualität, Belege und mögliche Interessen.
Human Agency: Formuliere drei Regeln, die sicherstellen, dass Lernende trotz KI-Unterstützung selbst entscheiden und eigene Fähigkeiten trainieren.

Standard

Systemdesign: Entwickle mit dem Z-G-B-F-P-K-Modell einen KI-Assistenten für die Organisation eines Schulfests.
Fehleranalyse: Erfinde zehn Testfälle für ein KI-System und unterscheide dabei harmlose, folgenreiche und schwer erkennbare Fehler.
Fairness: Beschreibe ein Beispiel, in dem ein System im Durchschnitt gut funktioniert, eine bestimmte Gruppe aber benachteiligt. Entwickle eine Prüfidee.
Governance: Erstelle eine Rollenkarte mit Regelgeber, Betreiber, Prüfer, betroffener Person und Stopprecht für einen schulischen KI-Einsatz.

Schwer

Folgenabschätzung: Analysiere einen KI-Einsatz bei Bewerbungen oder Leistungsbewertung aus technischer, wirtschaftlicher, ethischer und gesellschaftlicher Perspektive.
Evaluation: Entwickle ein kleines Prüfkonzept mit Qualitätskriterien, Testdaten, Fehlerkategorien, Grenzwerten und einer Regel für Abbruch oder Nachbesserung.
Debatte: Führe eine strukturierte Diskussion zur These „Je leistungsfähiger ein KI-System ist, desto weniger Kontrolle braucht es“ und widerlege oder verteidige sie mit mindestens drei Kriterien.
Transfer: Übertrage das Kursmodell auf einen neuen Fall Deiner Wahl, entscheide über den angemessenen Autonomiegrad und begründe Ziele, Grenzen, Freigaben, Protokolle und Kontrollpunkte.

Lernkontrolle

Systemgrenzen begründen: Ein KI-Agent darf Webseiten lesen, E-Mails entwerfen und Termine prüfen. Entscheide, ob er auch Nachrichten versenden und Zahlungen auslösen darf. Begründe jede zusätzliche Berechtigung mit Nutzen, Schaden, Rückholbarkeit und Kontrollpunkt.
Fehlerfolgen vergleichen: Ein System übersieht selten ein echtes Risiko, erzeugt aber häufiger falsche Warnungen. Erkläre, warum dieselben Kennzahlen in einer Freizeit-App und in einem sicherheitskritischen System unterschiedlich bewertet werden müssen.
Governance entwerfen: Entwickle für einen schulischen KI-Einsatz eine Rollenverteilung, bei der klar ist, wer Regeln setzt, wer bedient, wer prüft und wer im Konfliktfall stoppen darf.
Quellen und Transparenz prüfen: Eine KI liefert eine überzeugende Empfehlung mit drei Quellen. Entwickle ein Verfahren, mit dem Du prüfst, ob die Empfehlung ausreichend transparent und quellenkritisch abgesichert ist.
Fairness und Nutzen abwägen: Ein automatisiertes System spart viel Zeit, benachteiligt aber nachweisbar eine kleine Gruppe häufiger. Formuliere mindestens drei mögliche Reaktionen und entscheide begründet, welche am verantwortbarsten ist.
Transferentscheidung: Eine Kommune möchte einen KI-Agenten einsetzen, der Bürgeranfragen vorsortiert, Informationen zusammensucht und Antwortentwürfe erstellt. Lege fest, welche Schritte automatisiert werden dürfen und wo menschliche Kontrolle zwingend bleibt.

Lernnachweis

Systemanalyse: Beschreibe das Einsatzziel und die betroffenen Personen verständlich.
Autonomiegrad: Begründe, welche Aufgaben die KI selbstständig, mit Freigabe oder gar nicht ausführen soll.
Grenzen und Berechtigungen: Lege Datenzugriffe, Werkzeuge und verbotene Aktionen nachvollziehbar fest.
Menschliche Kontrollpunkte: Baue mindestens zwei Stellen ein, an denen ein Mensch informiert entscheiden, korrigieren oder stoppen kann.
Evaluation: Plane Tests mit unterschiedlichen Fehlerarten und passenden Qualitätskriterien.
Folgenabschätzung: Betrachte Nutzen und mögliche Schäden für mehrere Gruppen sowie Fairness, Datenschutz und Sicherheit.
Transparenz und Nachvollziehbarkeit: Erkläre, welche Quellen, Aktionen und Freigaben dokumentiert werden müssen.
Transfer: Wende dieselben Kriterien auf einen neuen Fall an und erkläre, warum dort strengere oder lockerere Kontrolle nötig sein kann.

Selbstkontrolle und Reflexion

Beantworte am Ende für Dich fünf Fragen: Kann ich erklären, was ein agentisches System von einem einfachen Chatbot unterscheidet? Kann ich für eine reale Aufgabe sinnvolle Grenzen und Freigaben festlegen? Kann ich unterschiedliche Fehlerarten statt nur eine Gesamtquote bewerten? Kann ich erklären, wer durch ein System profitieren oder belastet werden könnte? Kann ich begründen, wann menschliche Kontrolle echte Entscheidungsmacht besitzt und wann sie nur symbolisch wäre?

Wenn Du bei einer Frage unsicher bist, gehe zum passenden Abschnitt zurück und verbessere Deinen Entwurf.

Transfer: Ein neuer Fall

Eine Jugendberufsagentur plant ein KI-System, das Jugendlichen Praktikumsstellen vorschlägt. Das System darf Profile auswerten, Stellen recherchieren und Ranglisten erzeugen. Später soll es möglicherweise selbstständig Nachrichten an Betriebe senden und Bewerbungstermine koordinieren.

Deine Aufgabe: Entscheide, wie autonom dieses System sein sollte. Nutze mindestens die Kriterien Ziel, Grenzen, Daten, Werkzeuge, Freigaben, Protokolle, Fairness, Fehlerfolgen und Beschwerdemöglichkeit. Formuliere am Ende ein Urteil in der Form: „Ich würde dem System erlauben …, aber nicht …, weil … . Ein Mensch muss spätestens dann eingreifen, wenn … .“

Vergleiche Deine Entscheidung anschließend mit dem Klassenfahrt-Fall. Zeige mindestens einen Punkt, an dem Du wegen der stärkeren Auswirkungen auf Chancen und persönliche Daten strengere Kontrolle forderst.

OERs zum Thema

Die folgenden Quellen eignen sich zur Vertiefung und zur Überprüfung des Kurses: der Wikipedia-Artikel zu Künstliche Intelligenz, das NIST AI Risk Management Framework mit den Funktionen Govern, Map, Measure und Manage, die OECD-Prinzipien zu vertrauenswürdiger KI sowie die europäische KI-Verordnung mit Anforderungen an menschliche Aufsicht bei bestimmten Hochrisiko-Systemen.

NIST: AI Risk Management Framework

OECD: AI Principles

EUR-Lex: Verordnung EU 2024/1689