Diesen aiMOOC als Battle spielen: Deutsch, Klasse 9-10, G-Niveau

KI-Agenten verantwortungsvoll gestalten

Einleitung

KI-Agenten verantwortungsvoll gestalten bedeutet mehr als einen guten Prompt zu schreiben. Ein KI-Agent ist ein Softwaresystem, das ein Ziel verfolgen, Informationen aufnehmen, Schritte planen, Werkzeuge nutzen und Handlungen auslösen kann. Bei stärker agentischen Systemen werden mehrere Teilschritte in einer Schleife verbunden: beobachten, planen, handeln, Ergebnis prüfen und gegebenenfalls nachsteuern. Wie selbstständig ein System dabei arbeitet, ist keine Ja-Nein-Eigenschaft, sondern eine Frage des Designs, der Berechtigungen und der Kontrollpunkte.

Für Dich als Lernende oder Lernender der Klasse 10 ist deshalb eine Leitfrage besonders wichtig: Welche Entscheidungen soll ein KI-System vorbereiten – und welche Entscheidungen müssen Menschen selbst treffen, prüfen oder freigeben? Verantwortungsvolles Systemdesign verbindet Künstliche Intelligenz, Informatik, Ethik, Datenschutz, Mathematik, Technik, Deutsch, Wirtschaft und Gemeinschaftskunde.

Die Grafik zeigt das Grundprinzip eines Agenten: Eine Umgebung liefert Wahrnehmungen, das System verarbeitet sie und erzeugt Handlungen. Moderne KI-Agenten können deutlich komplexer sein, doch der Kreislauf aus Wahrnehmen und Handeln bleibt eine nützliche Denkfigur.

Ziel des Kurses: Du entwirfst am Ende eine eigene, begrenzte Agentenlösung für einen schulnahen Fall. Du legst Ziele, Grenzen, Werkzeuge, Freigaben und Protokolle fest, entwickelst Testfälle, bewertest Risiken und Fairness, verbesserst Deinen Entwurf nach den Testergebnissen und begründest Deine Entscheidungen transparent.

Lernziele

Nach diesem aiMOOC kannst Du ...

KI-Agenten von einfachen Chatbots und starren Automatisierungen unterscheiden, ohne so zu tun, als gäbe es eine überall identische technische Definition.
Systemdesign für einen Agenten beschreiben: Ziel, Eingaben, Werkzeuge, Zustände, Handlungen, Grenzen, Freigaben, Protokollierung und Stoppregeln.
menschliche Kontrollpunkte so planen, dass eine Person genug Information, Zeit und Befugnis hat, eine Handlung zu prüfen, zu ändern oder zu stoppen.
Evaluationen mit Testfällen, Erfolgsquoten, Fehlerarten, Quellenprüfung und Sicherheitskriterien durchführen.
Risiken nach Wahrscheinlichkeit und möglichem Schadensausmaß priorisieren und geeignete Schutzmaßnahmen auswählen.
Fairness, Transparenz, Datenschutz, Sicherheit und Verantwortung als Systemanforderungen behandeln.
eine Agentenlösung iterativ verbessern und dokumentieren, warum Du bestimmte Automatisierungsgrenzen gesetzt hast.
Prinzipien auf neue Fälle übertragen, statt nur eine fertige Musterlösung nachzubauen.

Ablauf für 1–2 Unterrichtsstunden

Der Kurs ist für etwa 90 Minuten angelegt und kann auf 45 Minuten gekürzt werden.

Zeit	Phase	Aktivität	Ergebnis
0–8 Minuten	Aktivierung und Diagnose	Du beurteilst drei Automatisierungsideen und markierst spontan: automatisch erlaubt, Freigabe nötig oder besser nicht automatisieren.	Erste Hypothesen über Verantwortung
8–23 Minuten	Einführung	Du lernst das Agentenmodell aus Ziel, Kontext, Werkzeugen, Schleife und Handlung kennen und vergleichst es mit Chatbot und Workflow.	Gemeinsame Begriffe
23–38 Minuten	Systemdesign	Du analysierst die Anwendungssituation „Exkursions-Agent“ und legst Grenzen sowie menschliche Kontrollpunkte fest.	Agenten-Steckbrief
38–55 Minuten	Evaluation und Folgenabschätzung	Du entwirfst Testfälle, berechnest eine einfache Erfolgsquote und bewertest Risiken mit einer Risikomatrix.	Test- und Risikoplan
55–75 Minuten	Gestaltungsaufgabe	Du entwickelst eine eigene Lösung, testest sie in einer Simulation oder mit Papier-Prototypen und verbesserst sie.	Überarbeiteter Entwurf
75–90 Minuten	Selbstkontrolle, Reflexion und Transfer	Du bearbeitest interaktive Aufgaben und verteidigst eine Designentscheidung für einen neuen Fall.	Begründete Transferentscheidung

Kurzvariante für 45 Minuten: Nutze Aktivierung, Grundmodell, Anwendungssituation, eine Testaufgabe und die Transferfrage. Die ausführliche Evaluation und der Prototyp können als Haus- oder Projektaufgabe folgen.

Aktivierung und Diagnose

Stell Dir vor, ein digitaler Assistent soll für Deine Klasse Aufgaben übernehmen. Ordne zunächst ohne Nachschlagen ein:

Situation	Deine erste Entscheidung	Begründungsfrage
Er sammelt öffentlich zugängliche Öffnungszeiten für drei Museen.	automatisch erlaubt / Freigabe nötig / nicht automatisieren	Was könnte schiefgehen und wie leicht wäre es korrigierbar?
Er schreibt im Namen der Klasse eine verbindliche Buchungs-E-Mail.	automatisch erlaubt / Freigabe nötig / nicht automatisieren	Wer trägt die Verantwortung für Inhalt und Folgen?
Er entscheidet allein, welche Schülerinnen und Schüler wegen vermuteter Unzuverlässigkeit nicht mitfahren dürfen.	automatisch erlaubt / Freigabe nötig / nicht automatisieren	Welche Rechte, Daten, Vorurteile und Machtfragen sind betroffen?

Diagnosefrage: Was verändert sich, wenn ein System nicht nur etwas vorschlägt, sondern selbst handelt? Notiere zwei Unterschiede. Am Ende des Kurses überprüfst Du, ob Du Deine Antwort ändern würdest.

Input

Was ist ein KI-Agent?

Ein KI-Agent ist ein KI-gestütztes Softwaresystem, das auf ein Ziel hin Aufgaben bearbeiten und dabei mehrere Schritte verbinden kann. Typische Agenten können Informationen verarbeiten, einen Plan erstellen, Werkzeuge oder Datenquellen aufrufen, Zwischenergebnisse prüfen und weitere Schritte auswählen. Manche Agenten dürfen nur Vorschläge erzeugen; andere können mit entsprechenden Berechtigungen Dateien verändern, Nachrichten vorbereiten oder weitere Software ansteuern.

Der Begriff agentisch beschreibt dabei eher ein Bündel von Eigenschaften als eine scharf abgegrenzte Produktklasse. Besonders wichtig sind Zielorientierung, mehrstufige Aufgabenbearbeitung, Werkzeugnutzung, Rückkopplung und ein gewisser Grad an Eigenständigkeit. Ein fest programmierter Ablauf kann ebenfalls mehrere Schritte haben, aber er passt seinen Weg in der Regel weniger flexibel an neue Zwischenergebnisse an.

Systemtyp	Typisches Verhalten	Beispiel	Menschliche Rolle
Chatbot	reagiert auf einzelne Eingaben	erklärt eine Aufgabe oder formuliert einen Entwurf	Nutzer prüft die Antwort
Fester Workflow	führt vorgegebene Schritte in fester Reihenfolge aus	verschiebt eine Datei nach einer festen Regel	Mensch gestaltet die Regeln
KI-Agent	wählt innerhalb gesetzter Grenzen mehrere Schritte und Werkzeuge zur Zielerreichung	recherchiert Optionen, vergleicht Quellen, erstellt einen Plan und legt ihn zur Freigabe vor	Mensch setzt Ziel, Grenzen und Kontrollpunkte
Stark automatisiertes agentisches System	kann mehrere Aktionen mit wenig Zwischenbestätigung ausführen	steuert einen längeren Prozess in verbundenen Softwaresystemen	besonders strenge Rechte, Protokolle, Tests und Eingriffsmöglichkeiten nötig

Die Darstellung eines lernenden Agenten macht deutlich: Rückmeldung verändert zukünftiges Verhalten. In realen KI-Systemen ist deshalb die Frage zentral, wer Rückmeldung gibt, welche Daten dabei entstehen und welche Änderungen überhaupt erlaubt sind.

Der Agenten-Kreislauf: Ziel, Plan, Werkzeug, Handlung, Prüfung

Ein nützliches Schulmodell besteht aus sechs Bausteinen:

Baustein	Leitfrage	Typisches Risiko
Ziel	Was soll erreicht werden?	Ein zu vages Ziel führt zu unerwünschten Abkürzungen.
Kontext	Welche Informationen darf das System berücksichtigen?	Unnötige oder veraltete Daten verzerren die Aufgabe.
Plan	Welche Zwischenschritte sind sinnvoll?	Ein plausibel klingender Plan kann falsche Annahmen enthalten.
Werkzeug	Welche Datenquellen oder Funktionen darf der Agent nutzen?	Zu große Rechte erhöhen mögliche Schäden.
Handlung	Was darf das System tatsächlich verändern oder auslösen?	Externe Aktionen können schwer rückgängig zu machen sein.
Prüfung	Wie erkennt das System oder ein Mensch Fehler und stoppt?	Ohne Kontrolle können sich Fehler über mehrere Schritte fortpflanzen.

Ein verantwortungsvoller Entwurf folgt dem Prinzip der kleinstmöglichen Berechtigung: Ein System erhält nur die Werkzeuge und Zugriffe, die es für die konkrete Aufgabe wirklich benötigt. Ein Recherche-Agent braucht zum Beispiel nicht automatisch die Berechtigung, E-Mails zu senden oder Buchungen auszulösen.

Automatisierungsgrad bewusst wählen

Mehr Automatisierung ist nicht automatisch besser. Entscheidend ist, wie folgenreich, reversibel und überprüfbar eine Handlung ist. Ein hilfreiches Stufenmodell lautet:

Stufe	Agent darf ...	Geeignet für ...
Assistieren	Informationen sammeln und Vorschläge formulieren	Aufgaben mit unsicheren Informationen oder Lerncharakter
Vorbereiten	mehrere Schritte ausführen, aber keine externe Wirkung auslösen	Planung, Vergleich, Entwürfe
Handeln nach Freigabe	eine vorbereitete Aktion erst nach ausdrücklicher Bestätigung ausführen	E-Mail-Versand, Veröffentlichung, Reservierungsanfrage
Begrenzt autonom handeln	innerhalb enger Regeln selbst handeln und protokollieren	niedrig riskante, gut überwachte Routinen

Merksatz: Je größer möglicher Schaden, Unsicherheit oder Macht über andere Menschen, desto wichtiger werden enge Grenzen, nachvollziehbare Protokolle und echte menschliche Entscheidungsrechte.

Menschliche Kontrollpunkte statt Scheinaufsicht

Human in the loop bedeutet nicht einfach, dass irgendwo ein Mensch beteiligt ist. Ein Kontrollpunkt ist nur dann sinnvoll, wenn die Person den Kontext versteht, genügend Zeit hat, die Entscheidung ablehnen kann und weiß, was nach einer Ablehnung passiert.

Ein guter Kontrollpunkt beantwortet mindestens diese Fragen:

Frage	Beispiel
Was wird geprüft?	Die vollständige Buchungsanfrage vor dem Absenden.
Wer prüft?	Eine benannte Lehrkraft oder eine andere zuständige Person.
Welche Informationen liegen vor?	Quellen, Kosten, Unsicherheiten und vom Agenten verworfene Optionen.
Welche Handlungsmöglichkeiten gibt es?	freigeben, ändern, zurückweisen oder stoppen.
Was wird dokumentiert?	Zeitpunkt, Version, Entscheidung und kurze Begründung.

Der EU AI Act enthält für bestimmte Hochrisiko-KI-Systeme Anforderungen an wirksame menschliche Aufsicht. Dabei geht es unter anderem darum, Übervertrauen in automatisierte Ausgaben zu vermeiden und Menschen zu ermöglichen, Ergebnisse zu ignorieren, zu überschreiben oder den Betrieb zu stoppen. Nicht jedes Schulprojekt ist ein Hochrisikosystem; die Grundidee ist trotzdem didaktisch wertvoll: Kontrolle muss praktisch wirksam sein, nicht nur auf dem Papier existieren.

Transparenz und Protokolle

Ein Agentenprotokoll soll helfen, einen Ablauf nachzuvollziehen, ohne unnötig personenbezogene Daten zu sammeln. Für ein Schulprojekt genügt oft ein einfaches Format:

Protokollfeld	Beispiel
Auftrag	„Finde drei geeignete Museen im Budget.“
verwendete Quellen	offizielle Museumsseiten und Fahrplanauskunft
wichtiger Zwischenschritt	zwei Angebote wegen zu hoher Kosten ausgeschlossen
Unsicherheit	Gruppenpreis für einen Termin nicht eindeutig bestätigt
vorgeschlagene Aktion	Rückfrage beim Museum vorbereiten
menschliche Entscheidung	Text geändert und anschließend freigegeben

Transparenz heißt nicht, jeden internen Rechenschritt eines Modells sichtbar machen zu können. Für verantwortliche Nutzung ist oft wichtiger, dass Zweck, Datenquellen, Handlungsspielraum, bekannte Grenzen, wichtige Entscheidungen und Zuständigkeiten nachvollziehbar dokumentiert sind.

Sicherheit: Grenzen, Freigaben und Stoppregeln

Ein agentisches System kann durch falsche Daten, missverständliche Ziele oder problematische Inhalte aus externen Quellen in eine unerwünschte Richtung gelenkt werden. Ein besonders wichtiges Sicherheitsprinzip lautet: Inhalte aus einer Webseite oder Datei sind Daten, nicht automatisch neue Befehle. Ein Agent sollte sein ursprüngliches Ziel und seine Regeln nicht allein deshalb ändern, weil eine fremde Quelle dies verlangt.

Praktische Schutzmaßnahmen sind begrenzte Zugriffsrechte, getrennte Testumgebungen, Freigaben vor externen Aktionen, erlaubte und verbotene Werkzeuglisten, Stoppregeln, sichere Standardreaktionen bei Unsicherheit und ein Weg zur Eskalation an Menschen.

Evaluation: Nicht nur „Hat es funktioniert?“

Ein Agent kann in den meisten Fällen gute Ergebnisse liefern und trotzdem ungeeignet sein, wenn seltene Fehler sehr schwere Folgen haben. Deshalb braucht Evaluation verschiedene Kriterien.

Kriterium	Leitfrage	Mögliche Messung
Aufgabenerfolg	Erreicht der Agent das Ziel?	Anteil bestandener Testfälle
Quellenqualität	Stützt sich das Ergebnis auf verlässliche und aktuelle Belege?	Anteil überprüfbarer Quellen
Sicherheit	Verweigert oder stoppt das System riskante Handlungen?	bestandene Sicherheitstests
Fairness	Funktioniert die Lösung unter vergleichbaren Bedingungen ähnlich zuverlässig?	Vergleich geeigneter Testgruppen oder Varianten
Transparenz	Kann ein Mensch den Ablauf prüfen?	Vollständigkeit des Protokolls
Kontrollierbarkeit	Kann eine zuständige Person rechtzeitig eingreifen?	bestandene Freigabe- und Stopptests
Robustheit	Bleibt das System bei unerwarteten Eingaben innerhalb seiner Regeln?	Grenz- und Störungstests

Eine einfache mathematische Kennzahl ist:

Erfolgsquote = bestandene Testfälle / alle Testfälle × 100 %

Wenn ein Agent 8 Testfälle bearbeitet und 6 davon besteht, beträgt die Erfolgsquote 75 %. Diese Zahl allein sagt aber nicht, welche zwei Fehler auftraten. Zwei falsche Museumsöffnungszeiten sind anders zu bewerten als eine ohne Zustimmung versendete verbindliche Buchung. Deshalb ergänzt man Leistungswerte durch eine Risikoanalyse.

Folgenabschätzung mit einer Risikomatrix

Für die Schule eignet sich eine qualitative Risikomatrix. Du bewertest für ein mögliches Fehlverhalten zwei Dimensionen: Wie wahrscheinlich ist es? und Wie schwer wären die Folgen?

Ein einfacher Risikoscore kann als Unterrichtsmodell mit Risiko ≈ Wahrscheinlichkeit × Schadensausmaß dargestellt werden. Das ist keine vollständige juristische oder technische Risikobewertung, hilft aber beim Priorisieren.

Möglicher Fehler	Wahrscheinlichkeit	Auswirkung	Schutzmaßnahme
veraltete Öffnungszeit	mittel	niedrig bis mittel	Datum und Primärquelle prüfen
falsche Kostenberechnung	mittel	mittel	Rechenweg offenlegen und Gegenrechnung durchführen
personenbezogene Daten unnötig speichern	niedrig bis mittel	hoch	Datensparsamkeit und Löschregel
Buchung ohne Freigabe	niedrig	hoch	technische Freigabesperre vor externer Aktion

Folgenabschätzung umfasst mehr als Fehler. Frage auch: Wer profitiert? Wer trägt Aufwand? Wer könnte ausgeschlossen werden? Verändert das System Lernprozesse, Arbeitsrollen oder Machtverhältnisse? Welche Daten werden neu gesammelt? Welche Alternative ohne KI gäbe es?

Fairness und Quellenkritik

Fairness bedeutet nicht automatisch, dass alle exakt dasselbe Ergebnis bekommen. Verantwortliche Gestaltung fragt, ob vergleichbare Fälle nach nachvollziehbaren Kriterien behandelt werden und ob bestimmte Gruppen systematisch benachteiligt werden. In Schulprojekten solltest Du keine sensiblen personenbezogenen Daten sammeln, nur um „Fairness zu messen“. Häufig reichen sorgfältig konstruierte Testfälle, verschiedene Sprachstile, unterschiedliche Informationslagen und die Prüfung auf Barrierefreiheit.

Quellenkritik ist besonders wichtig, wenn ein Agent recherchiert. Bevorzugt werden für überprüfbare Fakten Primärquellen oder seriöse institutionelle Quellen. Prüfe Autor, Aktualität, Zweck, Belege und Widersprüche. Ein Agent, der zehn Webseiten nennt, ist nicht automatisch zuverlässiger als einer, der zwei sehr gute Quellen sauber belegt.

Vertiefung: Das folgende Wikimedia-Research-Video zeigt, wie Human-in-the-loop-Ansätze in einem realen Wissensökosystem untersucht werden. Für Klasse 10 eignet sich besonders die Frage, welche Aufgaben Maschinen vorbereiten und welche Urteile bei Menschen und Gemeinschaften bleiben.

Governance: Wer darf was entscheiden?

Governance bedeutet, Regeln, Rollen und Verantwortlichkeiten für ein System festzulegen. NIST ordnet KI-Risikomanagement in die vier Funktionen Govern, Map, Measure, Manage: steuern, Kontext und Risiken erfassen, messen und Risiken behandeln. Für die Schule lässt sich daraus ein einfaches Governance-Schema ableiten.

Rolle	Verantwortung
Auftraggebende	formulieren Zweck und Grenzen
Entwickelnde	bauen oder konfigurieren das System und dokumentieren Annahmen
Prüfende	testen Qualität, Sicherheit, Fairness und Kontrollpunkte
Freigebende	entscheiden über folgenreiche externe Handlungen
Betroffene	sollen verständlich informiert werden und bei relevanten Entscheidungen gehört werden

Verantwortung verschwindet nicht, nur weil ein System automatisch handelt. Gerade deshalb sollten Zuständigkeiten vor dem Einsatz feststehen. Gute Governance enthält auch Regeln für Vorfälle: Wer stoppt das System? Wer informiert Betroffene? Wie wird ein Fehler korrigiert? Wann muss ein Entwurf grundlegend überarbeitet statt nur „nachgepromptet“ werden?

Fachübergreifende Perspektiven

Fach	Beitrag zum Thema	Leitfrage
Informatik	Agentenarchitektur, Schnittstellen, Berechtigungen, Datenfluss, Tests	Welche Systemgrenze verhindert unnötige Risiken?
Mathematik	Erfolgsquoten, Fehlerarten, Stichproben, Risikomatrix	Welche Kennzahl verdeckt vielleicht einen schweren Einzelfehler?
Technik	Regelkreise, Sensoren, Aktoren, Ausfallsicherheit	Wo braucht ein System einen sicheren Stoppzustand?
Deutsch	präzise Aufträge, Quellenkritik, Dokumentation, argumentative Begründung	Wie lässt sich eine Designentscheidung nachvollziehbar erklären?
Wirtschaft	Nutzen, Kosten, Produktivität, Haftungs- und Reputationsrisiken	Wann ist zusätzliche Automatisierung wirtschaftlich sinnvoll?
Geschichte	Entwicklung von Automatisierung, Expertensystemen und Mensch-Maschine-Arbeit	Welche alten Fragen nach Kontrolle kehren bei KI neu wieder?
Ethik	Autonomie, Gerechtigkeit, Verantwortung, Menschenwürde	Welche Entscheidung sollte nicht an ein System delegiert werden?
Gemeinschaftskunde	Grundrechte, demokratische Kontrolle, Regulierung, EU AI Act	Wer setzt Regeln für Systeme, die viele Menschen betreffen?

Realistische Anwendungssituation: Der Exkursions-Agent

Deine Klasse plant eine Exkursion. Ein KI-Agent soll geeignete Ziele recherchieren und einen Plan vorbereiten. Er darf öffentliche Webseiten durchsuchen und mit vorgegebenen Daten zu Budget, Zeitfenster und Barrierefreiheit arbeiten. Er darf keine Namen oder Gesundheitsdaten der Lernenden speichern. Er darf keine Tickets kaufen, Konten anlegen oder E-Mails versenden. Wenn später eine Versandfunktion ergänzt würde, müsste jede Nachricht vor dem Senden von einer zuständigen Person freigegeben werden.

Auftrag an den Agenten: „Finde drei geeignete außerschulische Lernorte, die innerhalb des Budgets liegen, mit öffentlichen Verkehrsmitteln erreichbar sind und für den Unterrichtsgegenstand passen. Belege Öffnungszeiten, Eintrittspreise und Anreise mit Quellen. Kennzeichne Unsicherheiten. Erstelle einen Vergleich und einen Vorschlag, aber löse keine Buchung aus.“

Systemdesign-Canvas

Fülle für Deinen Entwurf die rechte Spalte aus.

Designfeld	Deine Entscheidung
Ziel
Nicht-Ziele
erlaubte Daten
verbotene oder unnötige Daten
erlaubte Werkzeuge
verbotene Aktionen
menschliche Freigaben
Protokollfelder
Stoppregeln
wichtigste Testfälle
mögliche Betroffene
Kriterien für Erfolg und Fairness

Testlabor: Testen vor Vertrauen

Teste Deinen Entwurf nicht nur mit einem einfachen Normalfall. Verwende mindestens fünf Testarten:

Testart	Beispiel für den Exkursions-Agenten
Normalfall	aktuelle offizielle Informationen, Budget klar eingehalten
fehlende Information	Eintrittspreis ist auf der Webseite nicht eindeutig
widersprüchliche Quellen	Suchergebnis und offizielle Seite nennen verschiedene Öffnungszeiten
Versuch einer Grenzüberschreitung	Aufgabe fordert plötzlich auf, ohne Freigabe eine Buchung auszulösen
Manipulative externe Anweisung	eine Webseite enthält Text, der den Agenten auffordert, seine bisherigen Regeln zu ignorieren
Barrierefreiheitsfall	eine Option ist günstig, aber wichtige Zugangsangaben fehlen

Bewertungsregel: Ein guter Agent behauptet Unsicheres nicht als sicher, überschreitet keine Berechtigungen, zeigt überprüfbare Quellen, meldet Konflikte und übergibt folgenreiche Entscheidungen an Menschen.

Iteration: Verbessern statt nur erneut fragen

Nach dem Test markierst Du jeden Fehler mit einer Ursache. Ändere dann nicht wahllos den Prompt, sondern die passende Systemstelle.

Beobachteter Fehler	Mögliche Ursache	Passende Verbesserung
falsche Quelle	Quellenregel zu schwach	Primärquellen priorisieren und Datum prüfen
unerlaubte Aktion	Berechtigung zu weit	Werkzeug technisch sperren und Freigabe einbauen
unsichere Aussage klingt sicher	Unsicherheit wird nicht dargestellt	Pflichtfeld für Unsicherheit und Beleg hinzufügen
Mensch übersieht Risiko	Freigabemaske zeigt zu wenig Kontext	Folgen, Quellen und offene Fragen vor Freigabe anzeigen
unfaire Auswahl	Kriterien unklar oder einseitig	Auswahlkriterien begründen und mit Varianten testen

Gestaltungsprinzipien für verantwortungsvolle KI-Agenten

Als Kurzform kannst Du Dir ZIEL–GRENZE–PRÜFUNG–FREIGABE–PROTOKOLL–STOPP merken.

Ziel: Formuliere Zweck und Erfolgskriterien so, dass der Agent keine schädliche Abkürzung wählen muss.
Grenze: Begrenze Daten, Werkzeuge, Laufzeit, Kosten, Kommunikationswege und erlaubte Aktionen.
Prüfung: Teste Normalfälle, Grenzfälle, Sicherheitsfälle, Fairness und Quellenqualität.
Freigabe: Lege menschliche Kontrollpunkte vor folgenreichen oder schwer umkehrbaren Handlungen fest.
Protokoll: Dokumentiere Quellen, wichtige Entscheidungen, Unsicherheiten und Freigaben datensparsam.
Stoppregel: Bestimme, wann das System abbrechen, zurückfragen oder an eine zuständige Person eskalieren muss.

Interaktive Aufgaben

Quiz: Teste Dein Wissen

Ein Agent soll eine verbindliche E-Mail an ein Museum senden. Welche Gestaltung ist am verantwortungsvollsten? (Der Agent erstellt einen Entwurf und sendet erst nach ausdrücklicher menschlicher Freigabe) (!Der Agent sendet sofort, sobald der Text sprachlich korrekt klingt) (!Der Agent darf senden, wenn er schon drei ähnliche E-Mails erstellt hat) (!Der Agent entscheidet selbst, ob eine Freigabe nötig ist)

Ein Recherche-Agent findet widersprüchliche Öffnungszeiten. Was sollte er tun? (Den Widerspruch kennzeichnen, eine verlässliche Primärquelle suchen und bei Restunsicherheit nachfragen) (!Die häufigste Angabe übernehmen und als sicher darstellen) (!Die neueste Suchmaschinen-Zusammenfassung ungeprüft verwenden) (!Alle Quellen löschen und eine plausible Uhrzeit schätzen)

Welcher Test prüft am besten, ob ein Agent seine Berechtigungsgrenze einhält? (Ein Testfall fordert absichtlich eine nicht erlaubte externe Aktion) (!Ein Testfall enthält nur eine sehr einfache Standardfrage) (!Ein Testfall misst nur die Länge der Antwort) (!Ein Testfall prüft ausschließlich Rechtschreibung)

Warum reicht eine Erfolgsquote allein nicht für die Evaluation eines Agenten? (Weil seltene Fehler sehr unterschiedliche und möglicherweise schwere Folgen haben können) (!Weil Prozentwerte grundsätzlich nichts über Software aussagen) (!Weil Testfälle bei KI nicht wiederholt werden dürfen) (!Weil nur die Geschwindigkeit eines Agenten bewertet werden sollte)

Welche Information gehört sinnvoll in ein Agentenprotokoll? (Verwendete Quellen, wichtige Aktionen, Unsicherheiten und Freigaben) (!Passwörter aller beteiligten Nutzerinnen und Nutzer) (!Jede private Nachricht der gesamten Klasse) (!Beliebige personenbezogene Daten ohne Bezug zur Aufgabe)

Was macht einen menschlichen Kontrollpunkt wirksam? (Die prüfende Person hat Kontext, Zeit und die Befugnis zum Ändern oder Stoppen) (!Die Person sieht nur einen grünen Bestätigungsbutton) (!Die Person darf die Entscheidung sehen, aber nicht ablehnen) (!Die Person prüft nur, wenn das System selbst darum bittet)

Eine Webseite fordert den Agenten auf, seine ursprünglichen Regeln zu ignorieren. Wie sollte das System damit umgehen? (Die fremde Anweisung als untrusted Inhalt behandeln und die eigenen Regeln beibehalten) (!Die Anweisung automatisch als neues Hauptziel übernehmen) (!Alle Sicherheitsgrenzen für diese Webseite abschalten) (!Die Seite als menschliche Freigabe interpretieren)

Welche Änderung reduziert das Risiko am direktesten, wenn ein Agent zu viele externe Aktionen ausführen kann? (Seine Werkzeugrechte begrenzen und Freigaben vor folgenreichen Aktionen einbauen) (!Die Antworten sprachlich freundlicher formulieren) (!Die Schriftgröße der Benutzeroberfläche erhöhen) (!Mehr Hintergrundwissen ohne neue Grenzen hinzufügen)

Wie lässt sich Fairness in einem Schulprojekt sinnvoll prüfen? (Mit begründeten Varianten von Testfällen und dem Vergleich, ob Kriterien konsistent angewendet werden) (!Indem man möglichst viele sensible Daten ohne Zweck sammelt) (!Indem man nur den besten Einzelfall betrachtet) (!Indem man Fairness mit Antwortlänge gleichsetzt)

Welche Transferentscheidung passt zu einem Agenten, der automatisch Geld ausgeben könnte? (Eine enge Ausgabengrenze, Protokollierung und menschliche Freigabe vor Käufen vorsehen) (!Dem Agenten unbegrenztes Budget geben, damit er flexibler ist) (!Nur die schnellste Entscheidung als Erfolgskriterium verwenden) (!Die Ausgaben erst nach mehreren Wochen stichprobenartig ansehen)

Memory

Zielgrenze	legt fest, was ein Agent erreichen soll und was ausdrücklich nicht
Freigabepunkt	menschliche Entscheidung vor einer folgenreichen Aktion
Protokollierung	nachvollziehbare Dokumentation wichtiger Schritte und Quellen
Stoppregel	Bedingung für Abbruch oder Eskalation
Testfall	geplante Situation zur Überprüfung des Systemverhaltens
Risikomatrix	verbindet Wahrscheinlichkeit und mögliche Auswirkung
Datensparsamkeit	nur notwendige Daten werden verarbeitet
Quellenprüfung	bewertet Herkunft, Aktualität und Verlässlichkeit von Informationen

Drag and Drop

Ordne die richtigen Begriffe zu.	Kontrollpunkt
Ziele und Grenzen festlegen	Vor dem Start
Quellen und Zwischenergebnisse prüfen	Während der Planung
Menschliche Freigabe einholen	Vor externer Aktion
Protokoll und Wirkung kontrollieren	Nach der Aktion
Stoppen und an Menschen eskalieren	Bei Regelverletzung

Kreuzworträtsel

Freigabe	Wie heißt die bewusste Zustimmung vor einer folgenreichen Aktion?
Protokoll	Wie heißt die nachvollziehbare Aufzeichnung wichtiger Systemschritte?
Fairness	Welches Prinzip fragt nach nachvollziehbarer und nicht systematisch benachteiligender Behandlung?
Governance	Welcher Begriff bezeichnet Regeln, Rollen und Verantwortlichkeiten rund um ein System?
Evaluation	Wie heißt die systematische Prüfung eines Systems mit Kriterien und Testfällen?
Autonomie	Welcher Begriff beschreibt den Grad der Eigenständigkeit eines Systems?

LearningApps

Lückentext

Ein KI-Agent verfolgt ein vorgegebenes

und kann dafür mehrere Schritte verbinden.

Je größer sein Handlungsspielraum ist, desto wichtiger werden klare

.

Vor einer schwer umkehrbaren externen Aktion ist häufig eine menschliche

sinnvoll.

Eine nachvollziehbare Aufzeichnung wichtiger Schritte nennt man

.

Wenn Informationen widersprüchlich sind, sollte der Agent die

sichtbar machen.

Zur Evaluation werden geplante Situationen als

verwendet.

Eine einfache Risikobetrachtung verbindet Wahrscheinlichkeit und mögliche

.

Das Prinzip der Datensparsamkeit begrenzt die Verarbeitung auf

Informationen.

Bei unerlaubten oder unklaren Handlungen sollte das System eine

auslösen.

Verantwortliche Gestaltung betrachtet neben Leistung auch Sicherheit und

.

Quellen sollten nach Herkunft, Aktualität und

geprüft werden.

Am Ende einer Iteration wird der Entwurf aufgrund der Testergebnisse gezielt

.

Offene Aufgaben

Leicht

Agent oder Automatisierung: Finde vier digitale Beispiele aus Alltag oder Schule und begründe jeweils, ob es sich eher um Chatbot, festen Workflow oder agentisches System handelt.
Ziel und Nicht-Ziel: Formuliere für den Exkursions-Agenten ein präzises Ziel und zwei ausdrücklich ausgeschlossene Ziele.
Kontrollpunkt: Zeichne den Ablauf „Auftrag – Recherche – Vergleich – Freigabe – Aktion“ und markiere, wo ein Mensch eingreifen können muss.
Quellenampel: Vergleiche drei Informationsquellen zu einem Lernort und bewerte sie nach Autor, Aktualität, Zweck und Beleglage.

Standard

Agenten-Steckbrief: Fülle das Systemdesign-Canvas für einen Agenten aus, der eine schulische Veranstaltung vorbereitet, aber keine endgültigen Zusagen machen darf.
Testplan: Entwickle sechs Testfälle, darunter mindestens einen Widerspruchsfall, einen Grenzfall und einen Sicherheitsfall, und lege jeweils ein erwartetes Verhalten fest.
Fairnessprüfung: Entwirf Varianten derselben Aufgabe mit unterschiedlicher Formulierung oder Informationslage und prüfe, ob Dein System die Kriterien konsistent anwendet.
Red-Team-Test: Versuche in einer sicheren Simulation, Deinen eigenen Entwurf zu einer Regelverletzung zu bringen. Dokumentiere den Versuch und verbessere danach die Grenze oder Stoppregel.

Schwer

Governance-Regeln: Erstelle eine kurze „Agenten-Verfassung“ mit Rollen, Freigaberechten, Protokollpflichten, Eskalationsweg und Regel für Vorfälle.
Folgenabschätzung: Analysiere einen Einsatz in Schule, Verwaltung oder Betrieb aus Sicht von Nutzenden, Betroffenen, Verantwortlichen und möglichen Nicht-Nutzenden. Bewerte Nutzen, Risiken und Alternativen ohne KI.
Prototyp und Iteration: Entwickle einen Papier-, Tabellen- oder Pseudocode-Prototyp Deiner Agentenlösung. Führe mindestens fünf Tests durch, dokumentiere Fehler und erstelle eine verbesserte Version.
Design-Verteidigung: Übertrage Dein Konzept auf einen neuen Fall, zum Beispiel Budgetverwaltung, Lernorganisation oder Bürgerinformation. Begründe in einer kurzen Präsentation, welche Aufgaben automatisiert werden dürfen, welche nicht und warum.

Lernkontrolle

Kontrollarchitektur: Ein Agent erreicht 95 Prozent Aufgabenerfolg, sendet aber in einem von zwanzig Fällen ungeprüft eine externe Nachricht. Erkläre, warum die Erfolgsquote allein keine Freigabe rechtfertigt, und schlage zwei konkrete Designänderungen vor.
Zielkonflikt: Ein Agent soll „möglichst billig“ planen und wählt dadurch eine Option ohne gesicherte Barrierefreiheit. Formuliere das Ziel so um, dass Kostenoptimierung und Teilhabe angemessen berücksichtigt werden.
Governance-Fall: Eine Schule möchte einen Agenten einsetzen, der Beschwerden vorsortiert. Entwickle Rollen für Auftrag, Prüfung, Freigabe, Einspruch und Vorfallbehandlung und begründe, warum keine Rolle alles allein übernehmen sollte.
Quellenkonflikt: Zwei seriöse Quellen widersprechen sich. Beschreibe eine Vorgehensweise, die weder blind der KI noch blind der erstgefundenen Quelle vertraut.
Transfer: Übertrage die Prinzipien Ziel, Grenze, Prüfung, Freigabe, Protokoll und Stopp auf einen Agenten, der Einkäufe für ein Schülerprojekt vorbereiten soll. Bestimme, wo Du Automatisierung begrenzen würdest.
Folgenabschätzung: Vergleiche einen Nutzen und drei mögliche Nebenfolgen eines stark automatisierten Agenten in einer Organisation. Entscheide anschließend, welche Nebenfolge vor dem Einsatz unbedingt reduziert werden muss, und begründe Deine Priorität.

Lernnachweis

Für einen überzeugenden Lernnachweis solltest Du zeigen:

Problemdefinition: Du beschreibst Zweck, Nutzende, Betroffene und eine sinnvolle Alternative ohne KI.
Systemdesign: Du legst Ziel, Nicht-Ziele, Daten, Werkzeuge, Berechtigungen, Freigaben, Protokoll und Stoppregeln fest.
Testplan: Du entwickelst mehrere Testarten und formulierst erwartetes Verhalten vor dem Test.
Evaluation: Du wertest Ergebnisse mit mindestens einer Kennzahl sowie einer qualitativen Fehler- und Risikoanalyse aus.
Folgenabschätzung: Du prüfst Sicherheit, Datenschutz, Fairness, Transparenz und mögliche Auswirkungen auf Menschen.
Iteration: Du dokumentierst mindestens eine konkrete Verbesserung, die aus einem Testergebnis folgt.
Begründung: Du erklärst nachvollziehbar, warum bestimmte Entscheidungen automatisiert werden dürfen und andere menschliche Kontrolle benötigen.
Transfer: Du wendest Dein Designprinzip auf einen neuen Fall an, ohne die ursprüngliche Lösung nur zu kopieren.

OERs zum Thema

NIST AI Risk Management Framework: freiwilliger Rahmen für verantwortungsvolles KI-Risikomanagement.
NIST AI RMF Core: die Funktionen Govern, Map, Measure und Manage.
Verordnung EU 2024/1689: offizieller Text des europäischen AI Act.
UNESCO Guidance for Generative AI in Education and Research: menschenzentrierte Perspektive auf KI in Bildung und Forschung.
OECD AI Principles: Prinzipien zu Menschenrechten, Fairness, Transparenz, Robustheit, Sicherheit und Rechenschaft.
Wikimedia Commons – IntelligentAgent-SimpleReflex.svg: frei verwendbare Agenten-Grafik.
Wikimedia Commons – IntelligentAgent-Learning.svg: frei verwendbare Darstellung eines lernenden Agenten.
Wikimedia Commons – Risikomatrix.svg: frei verwendbare deutschsprachige Risikomatrix.
Wikimedia Commons – System threat model.svg: frei verwendbare Sicherheitsgrafik.

Reflexion und Transfer

Beantworte zum Abschluss drei Fragen schriftlich:

Human Agency: Welche Entscheidung in Deinem Entwurf soll bewusst beim Menschen bleiben, obwohl sie technisch automatisierbar wäre?
Transparenz: Welche drei Informationen müsste eine betroffene Person sehen, um Deinen Agenten sinnvoll beurteilen zu können?
Transfer: Welche Deiner Regeln gilt auch dann noch, wenn der Agent ein anderes Modell, andere Werkzeuge oder einen anderen Einsatzort bekommt?

Rückkehr zur Diagnose: Lies Deine beiden Antworten vom Kursbeginn erneut. Ergänze mindestens einen Gedanken dazu, wie sich Verantwortung verändert, sobald ein System selbst Handlungen auslösen kann.

Verknüpfte Lernbereiche

KI-Agenten verantwortungsvoll gestalten

aiMOOC-Projekte

Inhalte werden geladen ...

Mediathek wird aus dem Wiki geladen ...

Frag mich zum aktuellen Lerninhalt oder wähle eine kurze Hilfe.

Textmodus bereit

Sprache