Anforderungen an ein KI-System formulieren
Anforderungen an ein KI-System formulieren
Einleitung
Anforderungen an ein KI-System formulieren bedeutet mehr, als eine Wunschliste für eine „schlaue“ Software zu schreiben. Du musst zuerst klären, welches Problem gelöst werden soll, wer betroffen ist, welche Folgen Fehler haben können und woran Du erkennst, ob das System gut genug, sicher, fair und verantwortbar arbeitet. Genau diese Übersetzung von Zielen und Werten in prüfbare Anforderungen ist eine zentrale KI-Kompetenz.
In diesem Lernkurs entwickelst Du Anforderungen an ein fiktives KI-System für die Schule. Du arbeitest dabei wie ein kleines interdisziplinäres Team aus Informatik, Mathematik, Technik, Deutsch, Wirtschaft, Ethik und Gemeinschaftskunde. Du vergleichst Interessen, prüfst Risiken, legst Kriterien fest, planst Tests, entscheidest über den Einsatz und begründest Deine Entscheidung.
Leitfrage: Wie wird aus dem Satz „Die KI soll gut helfen“ eine Anforderung, die man verstehen, testen und verantworten kann?
Das Video führt in KI-Governance ein. Achte beim Ansehen darauf, dass Verantwortung nicht nur im Modell selbst liegt, sondern auch in Regeln, Zuständigkeiten, Tests und Entscheidungen rund um das System.
Zielgruppe und Zeit
Der Kurs richtet sich vor allem an Klasse 10 und ist für etwa 1–2 Unterrichtsstunden ausgelegt. Er kann als 90-Minuten-Einheit, als Doppelstunde oder in gekürzter Form durchgeführt werden.
| Phase | Richtzeit | Handlung |
|---|---|---|
| Aktivierung und Diagnose | 5–10 Minuten | Wünsche, Anforderungen und Tests unterscheiden |
| Einführung | 10–15 Minuten | Zentrale Begriffe und das Anforderungsmuster verstehen |
| Anwendungssituation | 20–30 Minuten | Anforderungen für ein schulisches KI-System formulieren |
| Evaluation und Governance | 15–20 Minuten | Tests, Risiken, Zuständigkeiten und Abbruchkriterien planen |
| Selbstkontrolle und Reflexion | 10–15 Minuten | Entscheidungen prüfen und begründen |
| Transfer | 10–20 Minuten | Vorgehen auf einen neuen Fall übertragen |
Lernziele
Nach dem Kurs kannst Du ...
- Anforderungen an ein KI-System so formulieren, dass Zweck, Grenze und Prüfkriterium deutlich werden.
- Stakeholder und mögliche Betroffene identifizieren und ihre unterschiedlichen Interessen berücksichtigen.
- funktionale, qualitative, datenbezogene, ethische und organisatorische Anforderungen unterscheiden und verbinden.
- Risiken eines KI-Systems abschätzen und passende Schutzmaßnahmen, Tests und Abbruchkriterien ableiten.
- Ergebnisse einer Evaluation nicht nur nach einem einzigen Messwert beurteilen, sondern im Nutzungskontext interpretieren.
- Fairness, Transparenz, Datenschutz, Sicherheit und menschliche Aufsicht als Systemanforderungen behandeln.
- eine begründete Go-, Änderungs- oder No-Go-Entscheidung treffen.
- das Vorgehen selbstständig auf eine neue KI-Anwendung übertragen.
Aktivierung und Diagnose
Stell Dir vor, Deine Schule sagt:
„Wir wollen eine KI, die Schülerinnen und Schülern passende Lernaufgaben empfiehlt.“
Welche der folgenden Aussagen ist schon eine brauchbare Anforderung?
| Aussage | Erste Einschätzung | Frage an Dich |
|---|---|---|
| „Die KI soll modern sein.“ | eher Wunsch | Woran wäre „modern“ erkennbar? |
| „Die KI soll niemanden benachteiligen.“ | wichtig, aber noch zu ungenau | Welche Benachteiligung soll durch welchen Test erkannt werden? |
| „Die KI soll zu jeder Empfehlung anzeigen, auf welchen bearbeiteten Aufgaben die Empfehlung beruht.“ | gut prüfbar | Wie würdest Du testen, ob diese Erklärung immer vorhanden ist? |
| „Die KI soll keine Noten vergeben.“ | klare Systemgrenze | Welche Funktion darf stattdessen bei Lehrkräften bleiben? |
Diagnosefrage: Formuliere in einem Satz, was Dir bei einem KI-System für die Schule wichtiger wäre: hohe Leistung, einfache Erklärbarkeit, geringe Datennutzung, Fairness oder etwas anderes. Begründe, warum. Am Ende des Kurses vergleichst Du Deine erste Antwort mit Deiner späteren Entscheidung.
Die zentrale KI-Kompetenz
Die zentrale Kompetenz dieses Kurses lautet:
Du übersetzt ein menschliches Ziel in prüfbare Anforderungen und entscheidest anhand von Evidenz, ob ein KI-System verantwortbar eingesetzt werden kann.
Das lässt sich als Kette darstellen:
| Schritt | Leitfrage | Ergebnis |
|---|---|---|
| Ziel | Welches Problem soll gelöst werden? | klarer Zweck |
| Betroffene | Wer nutzt das System, wer trägt mögliche Folgen? | Stakeholder-Perspektiven |
| Risiko | Was kann schiefgehen und wie schwer wäre die Folge? | priorisierte Risiken |
| Anforderung | Was muss das System leisten oder unterlassen? | eindeutiger Soll-Satz |
| Kriterium | Woran erkennen wir Erfolg oder Versagen? | beobachtbares Maß oder klare Bedingung |
| Test | Wie prüfen wir das vor und während des Einsatzes? | Testfall und Messverfahren |
| Evidenz | Welche Daten oder Beobachtungen belegen das Ergebnis? | dokumentierter Nachweis |
| Entscheidung | Freigeben, ändern, begrenzen oder stoppen? | begründete menschliche Entscheidung |
Merksatz: Eine gute KI-Anforderung verbindet Zweck, Grenze, Kriterium und Nachweis.
Ein Satzmuster für gute Anforderungen
Ein nützliches Muster lautet:
„Das System soll [Funktion oder Eigenschaft] unter [Bedingung] so erfüllen, dass [prüfbares Kriterium]. Der Nachweis erfolgt durch [Test oder Evidenz].“
Beispiel:
Zu ungenau: „Die KI soll zuverlässig sein.“
Besser: „Das System soll bei fachlichen Lernhinweisen kenntlich machen, wenn die interne Sicherheit für eine Aussage niedrig ist. In einem vorbereiteten Test mit typischen und schwierigen Fällen wird geprüft, ob unsichere Antworten tatsächlich gekennzeichnet oder an eine Lehrkraft verwiesen werden.“
Wichtig ist: Ein Grenzwert ist nicht automatisch „objektiv richtig“. Er muss zur Bedeutung eines Fehlers passen. Bei einer Musikempfehlung kann ein Fehlvorschlag lästig sein. Bei einer Entscheidung über Bildungschancen kann derselbe Fehler deutlich schwerere Folgen haben.
Anforderungen sind mehr als Funktionen
Bei KI-Systemen solltest Du mehrere Arten von Anforderungen gemeinsam betrachten.
| Anforderungsart | Leitfrage | Beispiel für den Schulfall |
|---|---|---|
| Funktional | Was soll das System tun? | Übungsaufgaben auf Grundlage freiwillig bearbeiteter Selbsttests empfehlen |
| Systemgrenze | Was darf es nicht tun? | Keine automatische Benotung und keine Entscheidung über Versetzung oder Kurszugang |
| Leistung und Qualität | Wie gut muss es arbeiten? | Empfehlungen müssen fachlich zu den dokumentierten Lernzielen passen |
| Daten | Welche Daten werden benötigt? | Nur Daten verwenden, die für die Empfehlung wirklich erforderlich sind |
| Datenschutz | Wie werden personenbezogene Daten geschützt? | Datensparsamkeit, klare Löschfristen und nachvollziehbare Zugriffsrechte |
| Fairness | Werden Gruppen oder Personen systematisch schlechter behandelt? | Fehler und Empfehlungsgüte für unterschiedliche Nutzungssituationen getrennt prüfen |
| Transparenz | Können Nutzende die Rolle der KI erkennen? | Jede Empfehlung als KI-gestützt kennzeichnen und Begründungsgrundlage anzeigen |
| Sicherheit | Was passiert bei Missbrauch oder Angriffen? | Manipulative Eingaben dürfen nicht zum Offenlegen fremder Daten führen |
| Menschliche Aufsicht | Wer darf übersteuern? | Lehrkräfte und Lernende können Empfehlungen ablehnen oder korrigieren |
| Betrieb | Was geschieht nach der Einführung? | Fehler melden, Veränderungen überwachen und bei kritischen Vorfällen stoppen |
Die Abbildung erinnert daran, dass bei vertrauenswürdiger KI mehrere Anforderungen gleichzeitig wichtig sind. Zwischen ihnen können Zielkonflikte entstehen. Mehr Erklärbarkeit kann beispielsweise zusätzliche Informationen benötigen; mehr Datensparsamkeit kann dagegen Daten begrenzen, die für bestimmte Prüfungen nützlich wären. Solche Konflikte müssen sichtbar gemacht und begründet entschieden werden.
Systemdesign statt Einzelprompt
Ein KI-System ist mehr als das Modell, das eine Ausgabe erzeugt. Zur Systemgestaltung gehören unter anderem Daten, Benutzeroberfläche, Regeln, Zugriffsrechte, menschliche Rollen, Protokollierung, Tests, Feedbackwege und Verfahren für Änderungen.
Bei KI ist der Prozess häufig iterativ: Anforderungen werden formuliert, das System wird getestet, neue Risiken werden sichtbar und Anforderungen werden nachgeschärft.
Sieben Schritte für ein schulisches KI-System
- Problemdefinition: Beschreibe das Problem, ohne sofort KI als Lösung vorauszusetzen. Vielleicht reicht eine einfachere Software oder eine organisatorische Änderung.
- Stakeholderanalyse: Bestimme Nutzende, Betroffene, Verantwortliche und Personen, die Beschwerden bearbeiten.
- Folgenabschätzung: Sammle mögliche Vorteile, Fehlerszenarien, Machtverschiebungen und unbeabsichtigte Wirkungen.
- Anforderungsspezifikation: Formuliere Funktionen, Grenzen, Qualitäts- und Schutzanforderungen.
- Evaluation: Lege Testfälle, Messgrößen, Vergleichswerte und Abbruchkriterien fest.
- Governance: Bestimme Zuständigkeiten, Dokumentation, Änderungsregeln und menschliche Aufsicht.
- Monitoring und Rückkopplung: Beobachte das System nach der Einführung und entscheide bei neuen Problemen erneut.
Authentische Anwendungssituation: Ein KI-Lernnavigator
Eine fiktive Schule erwägt einen KI-Lernnavigator. Das System soll Schülerinnen und Schülern nach freiwilligen Selbsttests passende Übungsaufgaben in Mathematik und Deutsch vorschlagen. Die Schulleitung hofft auf individuellere Unterstützung. Lehrkräfte wollen Zeit sparen. Lernende möchten verständliche Hinweise, aber keine undurchsichtige Bewertung. Eltern fragen nach Datenschutz. Die Schülervertretung fordert, dass niemand durch Sprache, Behinderung, Lernweg oder technische Ausstattung benachteiligt wird.
Das System soll nicht automatisch benoten, über Versetzungen entscheiden, Kurszugänge sperren, Verhaltensnoten erstellen oder emotionale Zustände aus Kamera- oder Audiodaten ableiten.
Deine Rolle: Systemdesign-Team
Du arbeitest in einer Gruppe und übernimmst eine Perspektive:
| Rolle | Hauptfrage |
|---|---|
| Lernende | Kann ich verstehen, beeinflussen und korrigieren, was das System über mich ableitet? |
| Lehrkräfte | Unterstützt die Empfehlung meinen Unterricht, ohne meine pädagogische Verantwortung zu ersetzen? |
| Schulleitung | Ist der Einsatz organisatorisch verantwortbar und dokumentierbar? |
| IT und Technik | Ist das System sicher, robust und wartbar? |
| Datenschutz | Werden nur erforderliche Daten verarbeitet und angemessen geschützt? |
| Schülervertretung | Werden unterschiedliche Gruppen fair berücksichtigt und Beschwerden ernst genommen? |
Auftrag 1: Vom Wunsch zur Anforderung
Formuliere mindestens sechs Anforderungen. Nutze dabei mehrere Kategorien. Eine mögliche Arbeitsvorlage ist:
| Bedarf oder Risiko | Anforderung | Prüfkriterium | Test | Verantwortliche Entscheidung |
|---|---|---|---|---|
| Lernende verstehen Empfehlungen nicht | ||||
| Bestimmte Lernwege werden häufiger falsch eingeschätzt | ||||
| Zu viele persönliche Daten werden gespeichert | ||||
| System liefert fachlich falsche Hinweise | ||||
| Lehrkraft kann Empfehlung nicht übersteuern | ||||
| System verändert sich nach einem Update |
Auftrag 2: Testbarkeit prüfen
Prüfe jede Formulierung mit fünf Fragen:
- Ist klar, was das System tun oder lassen soll?
- Ist klar, wann oder unter welchen Bedingungen die Anforderung gilt?
- Kann man mit Beobachtungen, Tests oder Daten entscheiden, ob sie erfüllt ist?
- Ist die Anforderung für Betroffene verständlich?
- Ist festgelegt, was geschieht, wenn der Test scheitert?
Wenn Du eine Frage nicht beantworten kannst, überarbeite die Anforderung.
Evaluation: Nicht nur „Wie genau ist die KI?“
Eine KI kann im Durchschnitt gute Werte erreichen und trotzdem in wichtigen Situationen versagen. Deshalb braucht Evaluation mehrere Testarten.
Die Zielscheiben zeigen anschaulich, dass Fehler unterschiedliche Muster haben können. Ein System kann zufällig schwanken oder systematisch in eine Richtung abweichen. Für KI-Systeme ist deshalb nicht nur der Mittelwert interessant, sondern auch, wo Fehler auftreten und wen sie treffen.
Eine Testmatrix für KI-Anforderungen
| Prüfdimension | Beispieltest | Mögliche Evidenz | Entscheidungsfrage |
|---|---|---|---|
| Fachliche Qualität | Test mit typischen, schwierigen und mehrdeutigen Lernfällen | dokumentierte Fehlertypen | Sind Fehler für den vorgesehenen Zweck akzeptabel? |
| Robustheit | Eingaben mit Tippfehlern, ungewöhnlichen Formulierungen und Widersprüchen | Stabilität der Ausgabe | Bricht die Qualität bei kleinen Veränderungen ein? |
| Fairness | vergleichbare Aufgaben mit unterschiedlichen Nutzungssituationen prüfen | Unterschiede in Fehlern und Empfehlungen | Gibt es systematische Nachteile? |
| Transparenz | Nutzende erklären lassen, warum eine Empfehlung entstand | Verständnistest und Rückfragen | Können Betroffene die Rolle der KI erkennen und nachvollziehen? |
| Datenschutz | Datenfluss und Löschung prüfen | Dateninventar und Löschprotokoll | Werden unnötige Daten vermieden? |
| Sicherheit | Missbrauchsszenarien und manipulierte Eingaben testen | dokumentierte Sicherheitsbefunde | Können Rechte oder Daten unzulässig beeinflusst werden? |
| Menschliche Kontrolle | absichtlich falsche Empfehlung erzeugen | Nachweis der Korrektur oder Übersteuerung | Kann ein Mensch rechtzeitig eingreifen? |
| Betrieb | Update mit vorheriger Version vergleichen | Regressionsbericht | Verschlechtert eine Änderung bereits erfüllte Anforderungen? |
Wichtig: Ein Testset muss zum tatsächlichen Nutzungskontext passen. Nur einfache Beispiele zu testen erzeugt Scheinsicherheit.
Fairness ist eine Prüfaufgabe, kein Zauberwort
Fairness bedeutet nicht automatisch, dass alle Personen immer dasselbe Ergebnis bekommen. Unterschiedliche Fairnessbegriffe können sich sogar widersprechen. Deshalb musst Du zuerst fragen:
- Welche Entscheidung oder Empfehlung ist betroffen?
- Welche Gruppen oder Nutzungssituationen könnten benachteiligt werden?
- Welcher Fehler ist für wen besonders belastend?
- Welche Daten dürfen für eine Prüfung überhaupt rechtmäßig und verantwortbar verwendet werden?
- Welche Maßnahme folgt, wenn ein systematischer Unterschied gefunden wird?
Beim Video über algorithmische Verzerrungen steht nicht eine einzelne Technik im Mittelpunkt, sondern die Frage, wie Testen, Sichtbarmachen und menschliche Verantwortung zusammenhängen.
Governance: Wer entscheidet, wer prüft, wer stoppt?
KI-Governance beschreibt Regeln und Verantwortlichkeiten rund um Auswahl, Entwicklung, Einsatz, Überwachung und Veränderung eines KI-Systems. Ein System kann technisch leistungsfähig sein und trotzdem schlecht gesteuert werden.
Eine gute Governance beantwortet mindestens diese Fragen:
- Wer darf den Zweck des Systems festlegen oder verändern?
- Wer ist für die fachliche Qualität zuständig?
- Wer prüft Datenschutz, Sicherheit und Fairness?
- Wer kann bei einem Vorfall den Einsatz stoppen?
- Wo können Lernende Fehler oder Benachteiligung melden?
- Welche Evidenz muss vor einer Freigabe vorliegen?
- Wann muss nach einem Update neu geprüft werden?
Governance als Evidenzkette
Die Abbildung zeigt eine hilfreiche Idee: Eine Entscheidung soll nicht nur auf Vertrauen beruhen, sondern auf einer Evidenzkette. Vom Zweck über Risiken und Kontrollen bis zu Tests und Freigabe muss nachvollziehbar sein, warum das System eingesetzt wird.
Folgenabschätzung
Vor dem Einsatz eines KI-Systems solltest Du nicht nur fragen: „Funktioniert es?“, sondern auch: „Welche Folgen entstehen, wenn es funktioniert – und welche, wenn es versagt?“
Eine einfache Folgenabschätzung kann mit vier Perspektiven arbeiten:
| Perspektive | Leitfragen |
|---|---|
| Nutzen | Welches konkrete Problem wird besser gelöst? Wer profitiert? |
| Schaden | Welche Fehlentscheidung, Ausgrenzung, Datenverletzung oder Abhängigkeit ist möglich? |
| Verteilung | Sind Nutzen und Risiken gleich verteilt oder tragen manche Gruppen mehr Belastung? |
| Alternativen | Gibt es eine einfachere, transparentere oder datensparsamere Lösung ohne KI? |
Human Agency bedeutet dabei, dass Menschen nicht nur auf KI-Ausgaben reagieren, sondern Zweck, Grenzen, Prüfungen und Entscheidungen aktiv gestalten. Eine wichtige Entscheidung kann deshalb auch lauten: „Für diesen Zweck setzen wir keine KI ein.“
Gestaltung von Anforderungen mit Prioritäten
Nicht jede Anforderung ist gleich wichtig. Eine einfache Priorisierung lautet:
| Priorität | Bedeutung | Beispiel |
|---|---|---|
| Muss | Ohne diese Bedingung keine Freigabe | Keine automatische Benotung |
| Soll | Sehr wichtig, begründete Abweichung nur nach Prüfung | Erklärung der Empfehlungsgrundlage |
| Kann | Nützlich, aber nicht freigabekritisch | alternative Darstellung der Empfehlung |
Prioritäten dürfen nicht dazu dienen, Grundrechte oder Sicherheitsanforderungen zu „Extras“ herabzustufen. Die Priorisierung muss zum Risiko des Einsatzes passen.
Abbruchkriterien formulieren
Eine professionelle Anforderung beschreibt auch, wann ein System nicht weiter eingesetzt werden soll.
Beispiele:
- Wenn wiederholt personenbezogene Daten unbefugt offengelegt werden, wird der Betrieb gestoppt und der Vorfall untersucht.
- Wenn ein Update die vereinbarte fachliche Mindestqualität unterschreitet, wird auf die vorherige Version zurückgegangen oder die Funktion deaktiviert.
- Wenn ein systematischer Nachteil für bestimmte Nutzungssituationen erkennbar wird, wird die betroffene Funktion bis zur Klärung eingeschränkt.
- Wenn Lehrkräfte oder Lernende eine Empfehlung nicht korrigieren können, darf sie nicht für folgenreiche Entscheidungen verwendet werden.
Fächerübergreifende Bezüge
| Fach | Bezug | Mögliche Lernhandlung |
|---|---|---|
| Informatik | Anforderungen, Daten, Modelle, Tests, Robustheit | Testfälle und Systemgrenzen entwerfen |
| Mathematik | Messgrößen, Fehlerquoten, Verteilungen, Vergleichswerte | Testergebnisse interpretieren und Mittelwerte kritisch prüfen |
| Technik | Systemlebenszyklus, Sicherheit, Wartung, Schnittstellen | Folgen eines Systemausfalls und Update-Prozesse planen |
| Deutsch | präzise Sprache, Argumentation, Adressatenbezug | unklare Wünsche in eindeutige Anforderungen umformulieren |
| Wirtschaft | Kosten, Nutzen, Beschaffung, Haftungs- und Organisationsfragen | unterschiedliche Anbieter- oder Lösungsoptionen anhand von Kriterien vergleichen |
| Geschichte | Technisierung von Entscheidungen und frühere Automatisierungsdebatten | Kontinuitäten und Unterschiede zwischen früherer Rationalisierung und heutiger KI diskutieren |
| Ethik | Autonomie, Gerechtigkeit, Verantwortung, Menschenwürde | Zielkonflikte begründet abwägen |
| Gemeinschaftskunde | Regeln, Rechte, Teilhabe, Kontrolle, Macht | Beteiligung von Betroffenen und Beschwerdewege gestalten |
Rechts- und Regelkontext in der EU
Stand: September 2026. Der EU AI Act verfolgt einen risikobasierten Ansatz. Für Schule besonders wichtig ist die Einsicht, dass nicht jede KI-Anwendung gleich riskant ist. Bestimmte Systeme im Bildungsbereich können als Hochrisiko-Anwendungen eingeordnet werden, wenn sie etwa Lernleistungen bewerten oder Bildungswege wesentlich beeinflussen. Für Hochrisiko-Systeme spielen unter anderem Risikomanagement, Datenqualität, Dokumentation, Nachvollziehbarkeit, menschliche Aufsicht, Genauigkeit, Robustheit und Cybersicherheit eine zentrale Rolle.
Emotionserkennung in Bildungseinrichtungen gehört grundsätzlich zu den untersagten Praktiken, soweit keine enge Ausnahme greift. Außerdem verlangt Artikel 4 des AI Acts Maßnahmen zur Förderung von KI-Kompetenz bei Personen, die im Namen eines Anbieters oder Betreibers mit KI-Systemen umgehen.
Da sich rechtliche Auslegung und Übergangsfristen ändern können, ist für reale Projekte immer die aktuelle offizielle Quelle zu prüfen. Dieser Lernkurs ersetzt keine Rechtsberatung.
Entscheidungsmatrix: Go, Ändern oder No-Go?
Am Ende einer Evaluation brauchst Du eine Entscheidung. Eine mögliche Matrix:
| Befund | Entscheidung | Begründung |
|---|---|---|
| Muss-Anforderungen erfüllt, Rest-Risiken begrenzt und überwacht | Go mit Monitoring | Einsatz ist unter definierten Bedingungen vertretbar |
| einzelne wichtige Anforderungen verfehlt, aber gezielt verbesserbar | Ändern und erneut testen | Freigabe erst nach Nachweis |
| schwerwiegende Sicherheits-, Fairness- oder Datenschutzprobleme | No-Go | Schaden oder Kontrollverlust ist nicht akzeptabel |
| Nutzen gering, Aufwand und Risiken hoch | Alternative ohne KI prüfen | KI ist nicht automatisch die beste Lösung |
Entscheidungsregel: Eine hohe Durchschnittsleistung kompensiert keine unbegrenzte Verantwortungslücke.
Mini-Fall zur gemeinsamen Entscheidung
Der KI-Lernnavigator erreicht in einer fachlichen Prüfung gute Ergebnisse. In einer Teilgruppe werden jedoch Aufgaben mit mehrsprachigen Formulierungen deutlich häufiger falsch eingeordnet. Außerdem kann die Schule nicht erklären, welche Daten nach sechs Monaten noch gespeichert sind. Ein Hersteller verspricht, beides „später zu optimieren“.
Deine Aufgabe: Entscheide Dich zwischen Go, Ändern und erneut testen oder No-Go. Begründe Deine Entscheidung mit mindestens drei Anforderungen und nenne die Evidenz, die Du vor einer Freigabe noch verlangen würdest.
Eine starke Begründung könnte so aufgebaut sein:
Behauptung → Anforderung → Evidenz → Risiko → Entscheidung
Beispielstruktur: „Ich würde das System noch nicht freigeben, weil die Anforderung ... nicht nachgewiesen ist. Der Befund ... zeigt ... . Dadurch könnte ... . Vor einer Freigabe müsste ... getestet oder geändert werden.“
Reflexion: Wer hat die Kontrolle?
Vergleiche Deine Antwort aus der Aktivierung mit Deiner jetzigen Sicht.
- Hat sich verändert, was Du unter einem „guten“ KI-System verstehst?
- Welche Anforderung schützt die Handlungsfähigkeit der Lernenden am stärksten?
- Welche Entscheidung sollte niemals vollständig an das KI-System abgegeben werden?
- Bei welchem Zielkonflikt fiel Dir eine Entscheidung am schwersten?
- Welche Information würdest Du von einem Anbieter verlangen, bevor Du seinem System vertraust?
Transfer auf einen neuen Fall
Neuer Fall: Eine Kommune erwägt ein KI-System, das Jugendliche automatisch auf passende Ferienjobs hinweist. Das System verwendet Angaben zu Interessen, Schulweg, Verfügbarkeit und bisherigen Suchanfragen.
Übertrage das Vorgehen selbstständig:
- Formuliere den legitimen Zweck des Systems.
- Nenne mindestens vier Stakeholder.
- Identifiziere drei mögliche Schäden oder Benachteiligungen.
- Formuliere mindestens fünf prüfbare Anforderungen aus unterschiedlichen Kategorien.
- Entwirf zu zwei Anforderungen konkrete Tests.
- Lege mindestens ein Abbruchkriterium fest.
- Entscheide: Go, Ändern und erneut testen, No-Go oder Alternative ohne KI.
- Begründe Deine Entscheidung mit Evidenz und den Folgen für Betroffene.
Transferziel: Du sollst nicht dieselben Sätze wie im Schulfall kopieren, sondern das Verfahren auf einen neuen Nutzungskontext anwenden.
Interaktive Aufgaben
Quiz: Teste Dein Wissen
Eine Schule fordert: Die KI soll fair sein. Welche Überarbeitung ist am besten? (Es wird festgelegt welche Benachteiligung geprüft wird mit welchen Testfällen und was bei auffälligen Unterschieden geschieht) (!Fairness wird als allgemeines Ziel notiert und später intuitiv beurteilt) (!Das System erhält möglichst viele Daten damit Fairness automatisch entsteht) (!Die durchschnittliche Genauigkeit wird als einziger Fairnessnachweis verwendet)
Welche Formulierung beschreibt am besten eine prüfbare Systemgrenze? (Das System darf keine automatischen Noten vergeben) (!Das System soll verantwortungsvoll sein) (!Das System soll möglichst modern wirken) (!Das System soll Menschen unterstützen)
Ein KI-System hat eine hohe durchschnittliche Trefferquote aber versagt häufig bei mehrdeutigen Eingaben. Was folgt daraus? (Die Evaluation muss schwierige und mehrdeutige Testfälle gezielt einbeziehen) (!Die hohe Durchschnittsquote reicht für eine Freigabe) (!Mehrdeutige Eingaben sollten aus der Nutzung ausgeschlossen werden) (!Die Trefferquote beweist bereits Robustheit)
Bei einem Update verschlechtert sich eine zuvor gute Funktion. Welche Anforderung hilft am meisten? (Nach jedem wesentlichen Update werden definierte Regressionstests erneut ausgeführt) (!Updates werden grundsätzlich nicht dokumentiert) (!Nur die neue Funktion wird betrachtet) (!Die alte Version wird unabhängig von Tests sofort gelöscht)
Welche Entscheidung stärkt Human Agency besonders? (Betroffene können Empfehlungen verstehen beanstanden und durch zuständige Menschen überprüfen lassen) (!Die KI entscheidet endgültig damit niemand eingreifen muss) (!Alle Begründungen werden verborgen damit das System einfacher wirkt) (!Nutzende dürfen nur das Ergebnis sehen)
Ein Anbieter kann nicht erklären welche personenbezogenen Daten gespeichert bleiben. Wie sollte das Projektteam reagieren? (Die Datennutzung als ungeklärte Muss-Anforderung behandeln und vor Freigabe klären) (!Das System trotzdem freigeben weil fachliche Qualität wichtiger ist) (!Die Frage ignorieren solange keine Beschwerde vorliegt) (!Mehr Daten speichern damit spätere Analysen leichter werden)
Was ist eine sinnvolle Reihenfolge beim Formulieren einer KI-Anforderung? (Zweck und Risiko klären dann Anforderung Kriterium Test und Entscheidung festlegen) (!Zuerst das Modell auswählen und danach einen Zweck suchen) (!Zuerst einen Grenzwert erfinden und anschließend Betroffene bestimmen) (!Zuerst freigeben und nur bei Beschwerden Anforderungen schreiben)
Ein Test zeigt systematisch schlechtere Empfehlungen in einer bestimmten Nutzungssituation. Was ist der beste nächste Schritt? (Ursache und Folgen untersuchen Schutzmaßnahmen ableiten und vor Freigabe erneut testen) (!Den Befund aus dem Bericht entfernen) (!Nur den Gesamtdurchschnitt veröffentlichen) (!Die betroffene Gruppe von der Evaluation ausschließen)
Welche Aussage beschreibt Governance am besten? (Governance legt Zuständigkeiten Regeln Nachweise und Entscheidungswege über den gesamten Systemlebenszyklus fest) (!Governance ist nur die Wahl eines möglichst großen KI-Modells) (!Governance bedeutet dass niemand persönlich verantwortlich ist) (!Governance endet mit der ersten technischen Installation)
Wann ist eine Alternative ohne KI besonders ernsthaft zu prüfen? (Wenn der Zusatznutzen gering ist während Risiken Aufwand oder Kontrollverlust hoch sind) (!Wenn KI als modern gilt) (!Wenn ein Anbieter eine neue Funktion bewirbt) (!Wenn keine Anforderungen formuliert wurden)
Memory
| Anforderung | prüfbare Soll-Aussage |
| Stakeholder | beteiligte oder betroffene Personengruppe |
| Evaluation | systematische Prüfung mit Testfällen |
| Governance | Regeln und Zuständigkeiten |
| Monitoring | Beobachtung im laufenden Betrieb |
| Abbruchkriterium | Bedingung zum Stoppen oder Einschränken |
Drag and Drop
| Ordne die richtigen Begriffe zu. | Thema |
|---|---|
| Funktionale Anforderung | Das System empfiehlt passende Übungsaufgaben |
| Systemgrenze | Das System vergibt keine automatischen Noten |
| Transparenzanforderung | Die Grundlage einer Empfehlung wird angezeigt |
| Sicherheitsanforderung | Unbefugte erhalten keinen Zugriff auf fremde Daten |
| Governanceanforderung | Für kritische Vorfälle ist eine verantwortliche Stelle benannt |
Kreuzworträtsel
| Stakeholder | Wie heißt eine beteiligte oder betroffene Personengruppe? |
| Fairness | Welcher Begriff bezeichnet die Prüfung auf ungerechtfertigte Benachteiligung? |
| Governance | Wie heißt das Geflecht aus Regeln Zuständigkeiten und Kontrolle? |
| Monitoring | Wie nennt man die laufende Beobachtung eines Systems nach der Einführung? |
| Robustheit | Welche Eigenschaft beschreibt stabiles Verhalten auch bei schwierigen Eingaben? |
| Evidenz | Wie heißt ein dokumentierter Nachweis für eine Entscheidung? |
LearningApps
Lückentext
Offene Aufgaben
Leicht
- Unklare Anforderungen verbessern: Suche in Werbung oder Alltag drei Aussagen wie „intelligent“, „sicher“ oder „personalisiert“ und formuliere sie als prüfbare Anforderungen um.
- Stakeholder-Perspektiven: Wähle eine schulische KI-Anwendung und notiere vier Betroffenengruppen mit jeweils einem möglichen Nutzen und einem möglichen Risiko.
- Systemgrenzen formulieren: Schreibe fünf Sätze darüber, was ein KI-Lernsystem ausdrücklich nicht entscheiden darf.
- Testfall erfinden: Entwirf für eine einzelne Anforderung drei Testfälle: einen normalen, einen schwierigen und einen missbräuchlichen Fall.
Standard
- Anforderungsmatrix: Erstelle für den KI-Lernnavigator eine Tabelle mit mindestens acht Anforderungen, Prüfkriterien, Tests und Konsequenzen bei Nichterfüllung.
- Fairness-Audit: Plane eine kleine Prüfung, mit der Du systematische Unterschiede in Empfehlungen erkennen könntest, ohne unnötig personenbezogene Daten zu sammeln.
- Governance-Plan: Zeichne ein Rollenmodell für Lernende, Lehrkräfte, Schulleitung, IT und Beschwerdestelle. Markiere, wer testen, freigeben, übersteuern und stoppen darf.
- Anbieter-Vergleich: Entwickle zehn herstellerunabhängige Kriterien für die Beschaffung eines schulischen KI-Systems und begründe eine Rangfolge.
Schwer
- Folgenabschätzung: Analysiere für ein KI-System zur Erkennung von Unterstützungsbedarf mindestens vier mögliche Nutzen und vier mögliche Schäden. Entscheide anschließend, ob der Zweck überhaupt mit KI verfolgt werden sollte.
- Zielkonflikt analysieren: Untersuche einen Konflikt zwischen Datenschutz, Erklärbarkeit, Genauigkeit oder Komfort. Entwickle zwei Lösungsvarianten und begründe Deine bevorzugte Variante.
- Red-Team-Test: Versuche in einer sicheren Simulation, ein KI-System durch mehrdeutige, manipulierte oder widersprüchliche Eingaben aus dem vorgesehenen Verhalten zu bringen. Dokumentiere nur harmlose Testfälle und leite neue Anforderungen ab.
- Transferprojekt: Wähle einen neuen Bereich wie Bewerbung, Verkehr, Medizin, Verwaltung oder Freizeit. Entwickle Zweck, Stakeholder, Risiken, Anforderungen, Tests, Governance und eine begründete Go- oder No-Go-Entscheidung.
|
|
Lernkontrolle
- Anforderung und Risiko verbinden: Ein KI-System schlägt Schülerinnen und Schülern Wahlfächer vor. Formuliere drei Anforderungen, die direkt aus möglichen Fehlfolgen entstehen, und begründe jede Verbindung.
- Evaluation bewerten: Ein Anbieter zeigt nur eine sehr hohe durchschnittliche Genauigkeit. Erkläre, welche zusätzlichen Tests Du fordern würdest und warum diese für eine verantwortliche Entscheidung nötig sind.
- Zielkonflikt entscheiden: Ein System wird genauer, wenn mehr personenbezogene Daten gespeichert werden. Entwickle zwei Lösungswege und begründe, welcher im schulischen Kontext vorzuziehen ist.
- Governance übertragen: Entwirf für ein KI-System in einer Jugendberufsberatung einen Entscheidungsweg vom Test über die Freigabe bis zum Umgang mit Beschwerden.
- No-Go begründen: Formuliere einen Fall, in dem Du trotz hoher technischer Leistung gegen den Einsatz eines KI-Systems entscheiden würdest. Begründe mit Folgen für Betroffene.
- Neuen Fall prüfen: Eine Stadt möchte KI für die automatische Priorisierung von Anträgen einsetzen. Formuliere einen Prüfplan mit Zweck, Stakeholdern, mindestens fünf Anforderungen, zwei Abbruchkriterien und einer begründeten Entscheidung.
Lernnachweis
Für einen überzeugenden Lernnachweis zu diesem Thema ist wichtig:
- Du formulierst Anforderungen klar, prüfbar und kontextbezogen.
- Du unterscheidest zwischen Zweck, Funktion, Qualitätsmerkmal, Systemgrenze und Test.
- Du berücksichtigst mehrere Stakeholder und mögliche ungleiche Folgen.
- Du begründest Messgrößen und Grenzwerte statt sie willkürlich zu setzen.
- Du planst Tests für normale, schwierige und missbräuchliche Nutzungssituationen.
- Du beschreibst menschliche Aufsicht, Beschwerdewege und Zuständigkeiten.
- Du kannst aus Evidenz eine Go-, Änderungs- oder No-Go-Entscheidung ableiten.
- Du überträgst das Verfahren auf einen neuen Fall und begründest Deine Entscheidung eigenständig.
OERs zum Thema
Wikipedia: Anforderungsanalyse in der Informatik
Wikipedia: Künstliche Intelligenz
Weiterführende frei zugängliche Quellen
- UNESCO AI Competency Framework for Students: Rahmen für Human Agency, Ethik, KI-Techniken und KI-Systemdesign.
- NIST AI Risk Management Framework: freiwilliger Rahmen zu Risiko, Vertrauenswürdigkeit, Messung und Governance.
- Europäische Kommission: AI Act: aktuelle Übersicht zum risikobasierten europäischen Regelungsansatz.
- Europäische Kommission: AI Literacy: Erläuterungen zur KI-Kompetenz im Zusammenhang mit Artikel 4.
- Wikimedia Commons: AI system lifecycle assurance loop: frei lizenzierte Visualisierung eines KI-Systemlebenszyklus.
- Wikimedia Commons: AI governance evidence chain: frei lizenzierte Visualisierung einer Governance-Evidenzkette.
- Wikimedia Commons: AI governance responsibility and evidence map: frei lizenzierte Visualisierung von Verantwortung und Nachweisen.
- Wikimedia Commons: Statistical bias and statistical noise illustration: Visualisierung von systematischer Verzerrung und statistischem Rauschen.
Verknüpfte Lernbereiche
Kompetenznetz
| Lernbereich | Zentrale Verbindung |
|---|---|
| Informatik | Anforderungen, Daten, Tests, Systemgrenzen |
| Mathematik | Messung, Unsicherheit, Fehleranalyse |
| Technik | Lebenszyklus, Sicherheit, Wartung |
| Deutsch | präzises Formulieren und begründetes Argumentieren |
| Wirtschaft | Beschaffung, Kosten, Nutzen und Verantwortungsstrukturen |
| Geschichte | historische Perspektiven auf Automatisierung und Technikfolgen |
| Ethik | Gerechtigkeit, Autonomie und Verantwortung |
| Gemeinschaftskunde | Rechte, Regeln, Beteiligung und demokratische Kontrolle |