KI-Abschlussprojekt – Von der Idee zum verantworteten System

KI-Abschlussprojekt – Von der Idee zum verantworteten System
KI-Abschlussprojekt – Von der Idee zum verantworteten System
In diesem Abschlussprojekt entwickelst Du nicht einfach „etwas mit KI“. Du entwirfst, prüfst und begründest ein verantwortetes KI-System: mit klarer Aufgabe, überprüfbaren Qualitätskriterien, menschlicher Kontrolle, Regeln für Verantwortung und einer Folgenabschätzung. Am Ende steht ein sichtbares Produkt – zum Beispiel eine Systemkarte mit Entscheidungsmemo – und ein dokumentierter Mensch-KI-Arbeitsprozess.
Der Kurs richtet sich besonders an die Klasse 10 und verbindet Informatik, Mathematik, Technik, Deutsch, Wirtschaft, Geschichte, Ethik und Gemeinschaftskunde. Für den Kernpfad brauchst Du etwa 90 Minuten; mit Vertiefungen und Transferaufgaben lässt sich der Kurs auf etwa 120 Minuten erweitern.
Einleitung
KI-Systeme können Texte erzeugen, Muster in Daten erkennen, Empfehlungen ausgeben oder Entscheidungen vorbereiten. Doch ein gutes technisches Ergebnis ist noch kein verantwortbares System. Sobald Menschen betroffen sind, entstehen Fragen: Wer legt das Ziel fest? Welche Daten werden verwendet? Wer kann einen Fehler erkennen? Wer darf eine KI-Empfehlung überstimmen? Welche Gruppen könnten benachteiligt werden? Wer trägt Verantwortung?
Ein verantwortetes System verbindet deshalb Systemdesign, Evaluation, Governance, Gestaltung, Folgenabschätzung und menschliche Entscheidungskompetenz. Die Leitidee dieses Kurses lautet: KI kann unterstützen – Verantwortung bleibt bei Menschen und Institutionen.

Das Bild zeigt, dass hinter scheinbar automatischen KI-Systemen menschliche Arbeit steckt: Daten werden ausgewählt, beschriftet, geprüft und interpretiert. Schon dabei können Annahmen und Fehler entstehen. Deshalb beginnt verantwortliche KI nicht erst beim fertigen Modell, sondern bereits bei Zielsetzung, Daten und Arbeitsprozess.
Der kurze UNESCO-Impuls eignet sich als Einstieg in Fragen zu Daten, gesellschaftlichen Folgen, menschlicher Verletzlichkeit und Verantwortung.
Lernziele und sichtbares Abschlussprodukt
Nach dem Kurs kannst Du ein KI-System nicht nur nach seiner technischen Funktion beurteilen, sondern als sozio-technisches System mit Menschen, Regeln, Daten, Interessen und Folgen analysieren.
| Bereich | Das kannst Du am Ende |
|---|---|
| Systemdesign | Du formulierst Zweck, Systemgrenze, Eingaben, Ausgaben, Nutzergruppen und Stellen menschlicher Kontrolle. |
| Evaluation | Du unterscheidest technische Güte von gesellschaftlicher Eignung und kannst Fehlentscheidungen, Teilgruppen und Zielkonflikte bewerten. |
| Governance | Du ordnest Rollen, Zuständigkeiten, Kontrollrechte, Eskalationswege und Dokumentationspflichten zu. |
| Gestaltung | Du entwirfst Hinweise, Anzeigen und Entscheidungswege so, dass Menschen die KI nicht blind übernehmen müssen. |
| Folgenabschätzung | Du prüfst Nutzen, Schäden, Grundrechte, Fairness, Datenschutz, Sicherheit und mögliche Langzeitfolgen. |
| Human Agency | Du begründest, an welchen Stellen Menschen entscheiden, widersprechen, stoppen oder eine Überprüfung verlangen können. |
| Transfer | Du überträgst Dein Vorgehen auf neue Fälle, statt nur eine Musterlösung nachzuahmen. |
Dein Abschlussprodukt besteht aus einer kompakten Systemkarte, einer Risiko- und Stakeholderanalyse, einem Evaluationsplan, einem Governance- und Kontrollkonzept, einer begründeten Entscheidung sowie einem Mensch-KI-Protokoll, das sichtbar macht, was Du selbst entschieden und was Du mit KI-Unterstützung bearbeitet hast.
Lernroute für 1–2 Unterrichtsstunden
| Phase | Zeit | Aktivität | Ergebnis |
|---|---|---|---|
| Aktivierung | 5–10 Minuten | Erste Fallentscheidung ohne KI | Vorannahmen und offene Fragen |
| Einführung | 10–15 Minuten | KI als sozio-technisches System verstehen | Systemgrenze und Verantwortungsfragen |
| Fallanalyse | 15–20 Minuten | Stakeholder, Ziele und Konflikte untersuchen | Interessen- und Risikokarte |
| Systemdesign | 15–20 Minuten | Menschliche Kontrolle und Regeln entwerfen | Systemskizze und Governance |
| Evaluation | 15–20 Minuten | Kennzahlen und Folgen prüfen | Evaluationsplan |
| Entscheidung | 10–15 Minuten | Optionen abwägen und begründen | Entscheidungsmemo |
| Reflexion und Transfer | 5–15 Minuten | Neues Anwendungsfeld prüfen | Übertragbare Kriterien |
Aktivierung und Diagnose
Stell Dir vor, Deine Schule könnte ein KI-System einsetzen, das aus digitalen Lernaufgaben Hinweise ableitet, welche Schülerinnen und Schüler zusätzliche Unterstützung benötigen. Das System entscheidet nicht über Noten, markiert aber Lernende mit „erhöhtem Förderbedarf“.
Beantworte zunächst ohne KI drei Fragen schriftlich:
- Erste Einschätzung: Würdest Du einem solchen System grundsätzlich zustimmen, es ablehnen oder nur unter Bedingungen zulassen? Begründe.
- Vertrauensfrage: Welche Information müsstest Du kennen, bevor Du einer KI-Empfehlung vertraust?
- Verantwortungsfrage: Wer sollte verantwortlich sein, wenn ein Lernender fälschlich als „auffällig“ markiert wird?
Diagnoseidee: Vergleiche Deine Antworten später mit Deinem Abschlussprodukt. Wenn sich Deine Position verändert, dokumentiere, welche Information oder welcher Zielkonflikt dafür entscheidend war.
Vom KI-Werkzeug zum KI-System
Ein KI-Modell ist nur ein Bestandteil eines Systems. Zum System gehören außerdem Datenquellen, Benutzeroberfläche, technische Infrastruktur, Regeln, Menschen, Zuständigkeiten und der konkrete Nutzungskontext. Ein KI-System ist deshalb sozio-technisch: Technik und Gesellschaft wirken zusammen.

Ein typischer technischer Arbeitsfluss führt von Daten über Verarbeitung und Modellierung bis zur Evaluation. Für verantwortliche KI reicht dieser technische Kreislauf allein jedoch nicht aus. Zusätzlich brauchst Du eine gesellschaftliche und organisatorische Perspektive.

Der Entwicklungszyklus macht deutlich: Planung, Anforderungen, Gestaltung, Umsetzung, Test, Einsatz und Wartung bilden einen Kreislauf. Verantwortung endet also nicht mit dem Start eines Systems. Nach dem Einsatz müssen Fehler, neue Risiken und veränderte Bedingungen weiter beobachtet werden.
Systemgrenze und Zweck
Die wichtigste Designfrage lautet nicht „Was kann die KI?“, sondern „Welches Problem soll für wen unter welchen Bedingungen gelöst werden?“
Eine gute Systembeschreibung nennt mindestens den Zweck, die betroffenen Personen, verwendete Eingaben, erzeugte Ausgaben, menschliche Entscheidungen, mögliche Fehlfolgen und klare Grenzen. Ein System, das „Lernförderung verbessern“ soll, ist anders zu beurteilen als ein System, das automatisch Prüfungszulassungen vergibt. Der gleiche Algorithmus kann je nach Einsatzkontext sehr unterschiedliche Risiken erzeugen.
Human Agency als Designziel
Human Agency bedeutet, dass Menschen handlungsfähig bleiben. Sie sollen Ziele setzen, Informationen verstehen, Alternativen prüfen, widersprechen, Entscheidungen korrigieren und bei Bedarf ein System stoppen können. Menschliche Beteiligung ist aber nur dann sinnvoll, wenn die betreffende Person tatsächlich Zeit, Kompetenz, Informationen und Entscheidungsbefugnis besitzt.
Ein bloßer Knopf „Mensch bestätigt“ genügt nicht. Wenn Lehrkräfte Hunderte Empfehlungen in Sekunden abnicken müssen, wäre die Kontrolle nur formal. Gute menschliche Kontrolle braucht echte Interventionsmöglichkeiten.
Realistische Anwendungssituation: KI-Frühwarnsystem an einer Schule
Eine Schule plant ein System namens LernRadar. Es wertet Ergebnisse digitaler Übungsaufgaben, Bearbeitungszeiten und freiwillige Selbsteinschätzungen aus. Ein Modell erzeugt für jede Person einen Risikowert. Ab einem Schwellenwert erscheint für die Lehrkraft ein Hinweis: „Fördergespräch empfohlen.“
Das Ziel ist, Lernprobleme früher zu erkennen. Gleichzeitig befürchten Lernende, vorschnell etikettiert zu werden. Lehrkräfte wünschen Entlastung, wollen aber nicht von unverständlichen Scores abhängig sein. Eltern fordern nachvollziehbare Entscheidungen. Die Schulleitung achtet auf Kosten und Wirksamkeit. Die Datenschutzbeauftragte fragt nach Datenminimierung. Die Entwicklerfirma möchte ihr Produkt verbessern und möglichst viele Daten auswerten.

Stakeholder und Zielkonflikte
| Stakeholder | Legitime Interessen | Mögliche Risiken | Wichtige Kontrollrechte |
|---|---|---|---|
| Lernende | Unterstützung, faire Behandlung, Privatsphäre, Mitsprache | Stigmatisierung, Fehlklassifikation, Überwachung | Information, Widerspruch, menschliche Überprüfung |
| Lehrkräfte | hilfreiche Hinweise, Zeitgewinn, pädagogischer Handlungsspielraum | Automation Bias, zusätzlicher Dokumentationsaufwand | Empfehlung ignorieren, begründen, korrigieren |
| Eltern oder Sorgeberechtigte | Schutz und Lernfortschritt | falsche Sicherheit, missverständliche Scores | verständliche Auskunft und Beschwerdeweg |
| Schulleitung | Qualität, Wirtschaftlichkeit, Schulentwicklung | Reputationsschäden, Fehlsteuerung | Freigabe, Audit, Stoppen des Einsatzes |
| Datenschutz und Aufsicht | Rechtskonformität, Datensparsamkeit, Schutz von Grundrechten | unzulässige oder unverhältnismäßige Verarbeitung | Prüfzugang, Dokumentation, Eskalation |
| Anbieter | funktionsfähiges Produkt, Marktinteresse, Verbesserung | Interessenkonflikte, Intransparenz | klar definierte Pflichten und Nachweise |
Der zentrale Zielkonflikt lautet: Frühe Unterstützung kann nützlich sein, aber ein fehlerhaftes oder unfair gestaltetes System kann Menschen gerade durch seine Hilfsabsicht benachteiligen.
Erste Fallentscheidung
Entscheide zunächst zwischen vier Optionen. Es gibt absichtlich keine vorgegebene Musterlösung.
| Option | Beschreibung | Deine Aufgabe |
|---|---|---|
| A | Sofortiger Schuleinsatz | Nenne mindestens zwei Bedingungen, unter denen dies vertretbar wäre. |
| B | Begrenzter Pilotversuch | Bestimme Dauer, Teilnehmende, Ausstiegsmöglichkeit und Evaluationskriterien. |
| C | Überarbeitung vor jedem Einsatz | Lege fest, welche Risiken zuerst reduziert werden müssen. |
| D | Verzicht auf das System | Begründe, warum auch ein möglicher Nutzen die Risiken nicht aufwiegt. |
Notiere Deine Entscheidung. Du darfst sie später ändern, musst die Änderung aber begründen.
Systemdesign: Verantwortung technisch mitgestalten
Verantwortung wird nicht erst nach dem Programmieren „hinzugefügt“. Sie kann in Funktionen, Oberflächen und Abläufe eingebaut werden.
Ein verantwortetes LernRadar könnte beispielsweise so gestaltet sein, dass der Score nie direkt an Lernende als Urteil ausgegeben wird, sondern nur als Hinweis für ein Gespräch. Die Lehrkraft sieht Gründe und Datenbasis, kann die Empfehlung verwerfen, muss bei folgenreichen Maßnahmen eine eigene Begründung dokumentieren und kann problematische Fälle an eine unabhängige Stelle eskalieren.

Die Abbildung zeigt eine mögliche Evidenzkette: vom Geltungsbereich über Risikoentscheidungen und Kontrollen bis zu Nachweisen, Tests und verantwortlichen Verbesserungen.
Sieben Designfragen
| Designfrage | Beispiel für LernRadar |
|---|---|
| Zweck | Frühzeitige Förderhinweise statt automatische Sanktionen |
| Daten | Nur Daten, die für den Zweck begründet relevant sind |
| Ausgabe | Hinweis mit Unsicherheit statt scheinbar objektivem Urteil |
| Menschliche Rolle | Lehrkraft prüft Kontext und entscheidet selbst |
| Widerspruch | Lernende können eine Überprüfung anfordern |
| Not-Aus | Schule kann Funktion oder gesamten Einsatz stoppen |
| Lernen aus Fehlern | Fehlentscheidungen werden dokumentiert und führen zu Anpassungen |
Human-in-the-Loop ist nicht automatisch verantwortungsvoll
Menschen können KI-Fehler korrigieren, aber auch selbst Fehler machen. Außerdem kann Automation Bias entstehen: Menschen übernehmen Vorschläge eines Systems zu schnell, weil sie technisch oder objektiv wirken. Deshalb muss eine Benutzeroberfläche Unsicherheit, Datenbasis und Alternativen sichtbar machen.
Eine gute Gestaltung fragt: Was muss ein Mensch sehen, wissen und dürfen, damit seine Kontrolle echt ist?
Evaluation: Funktioniert das System – und für wen?
Evaluation bedeutet mehr als eine hohe Trefferquote. Du musst prüfen, ob das System seinen Zweck im realen Kontext erfüllt, welche Fehler auftreten und wie diese Fehler auf unterschiedliche Gruppen wirken.
Angenommen, in einer Stichprobe von 100 Lernenden benötigen tatsächlich 20 zusätzliche Unterstützung. LernRadar markiert 25 Personen. Davon benötigen 15 tatsächlich Hilfe.
| Tatsächlich Förderbedarf | Tatsächlich kein Förderbedarf | |
|---|---|---|
| System markiert | 15 richtig positive Fälle | 10 falsch positive Fälle |
| System markiert nicht | 5 falsch negative Fälle | 70 richtig negative Fälle |
Daraus ergeben sich zum Beispiel:
Präzision der Markierungen: 15 von 25 Markierten benötigen tatsächlich Unterstützung, also 60 %.
Trefferquote beim Finden Hilfebedürftiger: 15 von 20 tatsächlich Hilfebedürftigen werden gefunden, also 75 %.
Übersehene Hilfebedürftige: 5 von 20 werden nicht erkannt, also 25 %.
Diese Zahlen beantworten noch nicht die ethische Frage. Ein falsch positives Ergebnis kann zu unnötiger Stigmatisierung führen. Ein falsch negatives Ergebnis kann bewirken, dass notwendige Hilfe ausbleibt. Welche Fehler schwerer wiegen, ist eine Werte- und Kontextfrage.
Der Videoimpuls zu algorithmischem Bias eignet sich, um zu prüfen, wie Zieldefinitionen und Daten Annahmen in technische Systeme tragen können.
Fairness ist mehr als eine Durchschnittszahl
Ein System kann insgesamt gute Werte erreichen und dennoch für einzelne Gruppen schlechter funktionieren. Deshalb solltest Du Ergebnisse nach relevanten Teilgruppen untersuchen, ohne neue Diskriminierung zu erzeugen. Wichtig ist die Frage, ob die ausgewählten Gruppen sachlich begründet sind und ob der Schutz sensibler Daten gewahrt bleibt.
Fairness kann außerdem verschiedene Bedeutungen haben: gleiche Regeln, gleiche Chancen, vergleichbare Fehlerquoten oder besondere Unterstützung für Benachteiligte. Diese Ziele können sich widersprechen. Eine verantwortliche Entscheidung muss deshalb offenlegen, welche Fairnessvorstellung verwendet wird und warum.
Risiko statt nur Durchschnitt betrachten

Eine Risikomatrix verbindet typischerweise Wahrscheinlichkeit und Schadensausmaß. Für KI-Systeme reicht eine Zahl trotzdem nicht: Du solltest zusätzlich prüfen, wie viele Menschen betroffen sind, ob ein Schaden rückgängig gemacht werden kann, ob besonders verletzliche Gruppen betroffen sind und ob Betroffene wirksam widersprechen können.
Governance: Wer darf was entscheiden?
Governance bezeichnet Regeln und Zuständigkeiten, mit denen ein System gesteuert, überwacht und verantwortet wird. Gute Governance verhindert, dass Verantwortung im Satz „Die KI hat entschieden“ verschwindet.

Für ein schulisches KI-System könnten drei Ebenen getrennt werden: Entscheidung über Ziele und Freigabe, operativer Betrieb im Unterricht sowie unabhängige Prüfung. Eine Person sollte nicht gleichzeitig alle Regeln setzen, alle Daten kontrollieren und sich selbst überprüfen.
Governance-Karte für LernRadar
| Frage | Verantwortliche Rolle | Nachweis |
|---|---|---|
| Wer genehmigt den Zweck? | Schulleitung mit schulischer Beteiligung | dokumentierter Beschluss |
| Wer nutzt die Hinweise? | geschulte Lehrkräfte | Nutzungsregeln und Schulung |
| Wer prüft Datenschutz? | zuständige Datenschutzfunktion | dokumentierte Prüfung |
| Wer untersucht Fehlentscheidungen? | festgelegte unabhängige Stelle | Fehlerprotokoll |
| Wer kann das System stoppen? | klar benannte verantwortliche Stelle | Stop-Regel und Eskalationsweg |
| Wer informiert Betroffene? | Schule | verständliche Information |
Grundrechte und rechtlicher Orientierungsrahmen
Verantwortliches Systemdesign muss Menschenwürde, Datenschutz, Gleichbehandlung, Meinungsfreiheit, Recht auf Bildung und weitere Grundrechte berücksichtigen. Rechtliche Regeln ersetzen die ethische Abwägung nicht, setzen aber Mindestgrenzen.
Der europäische AI Act arbeitet risikobasiert. Stand September 2026 gelten in der EU bereits Verbote bestimmter KI-Praktiken sowie Transparenzpflichten für bestimmte Systeme und KI-generierte Inhalte. Für bestimmte Hochrisiko-Anwendungen gelten gestaffelte weitere Anforderungen. Anwendungen in sensiblen Bereichen wie Bildung können je nach konkretem Verwendungszweck besonders streng einzuordnen sein. Eine schulische Projektgruppe darf eine rechtliche Einstufung deshalb nicht einfach behaupten, sondern muss sie als Prüfpunkt markieren.
- Europäische Kommission: AI Act – risikobasierter Rahmen und Zeitplan
- Europäische Kommission: Fragen und Antworten zur Umsetzung
- UNESCO: Global AI Ethics and Governance Observatory
Werteabwägung statt Scheinobjektivität
Technische Systeme optimieren, was Menschen als Ziel festlegen. Doch Ziele können konkurrieren. Beim LernRadar könnten Früherkennung, Privatsphäre, Fairness, Erklärbarkeit, Kosten, Arbeitsaufwand und pädagogische Freiheit gleichzeitig wichtig sein.

Eine gewichtete Entscheidungsmatrix kann die Diskussion strukturieren. Sie ersetzt aber nicht das Urteil. Schon die Auswahl und Gewichtung der Kriterien ist eine normative Entscheidung.
Entscheidungsmatrix zum Ausfüllen
Bewerte die Optionen Pilotversuch, Überarbeitung und Verzicht auf einer Skala, die Ihr im Unterricht gemeinsam festlegt. Begründet jede Gewichtung.
| Kriterium | Gewicht | Pilotversuch | Überarbeitung | Verzicht | Begründung |
|---|---|---|---|---|---|
| Förderwirkung | |||||
| Fairness | |||||
| Datenschutz | |||||
| Erklärbarkeit | |||||
| Menschliche Kontrolle | |||||
| Aufwand und Kosten |
Wichtig: Eine hohe Gesamtpunktzahl darf kein K.-o.-Kriterium überstimmen. Wenn eine Option beispielsweise ein Grundrecht unverhältnismäßig verletzt, kann sie trotz guter Nutzwerte ausscheiden.
Folgenabschätzung
Eine Folgenabschätzung fragt systematisch, was vor, während und nach dem Einsatz passieren kann. Sie untersucht beabsichtigte und unbeabsichtigte Folgen.
| Prüffrage | Beispiel |
|---|---|
| Wer profitiert? | Lernende mit bisher spät erkanntem Unterstützungsbedarf |
| Wer trägt Risiken? | falsch markierte oder übersehene Lernende |
| Welche Rechte sind berührt? | Privatsphäre, Gleichbehandlung, Bildungschancen |
| Wie wahrscheinlich ist der Schaden? | muss mit Daten und Tests abgeschätzt werden |
| Wie schwer ist der Schaden? | reicht von Irritation bis zu langfristiger Stigmatisierung |
| Ist der Schaden reversibel? | ein Gespräch ist eher korrigierbar als eine dauerhafte Aktenmarkierung |
| Welche Schutzmaßnahme gibt es? | menschliche Prüfung, Widerspruch, Datenminimierung, Monitoring |
| Welche Restunsicherheit bleibt? | neue Gruppen, veränderte Lernplattform, Datenverschiebung |
Red-Team-Perspektive
Nimm für fünf Minuten die Rolle einer kritischen Prüferin oder eines kritischen Prüfers ein. Versuche nicht, das System zu bestätigen, sondern finde plausible Wege, wie es scheitern könnte.
Beispiele für Prüffragen: Was passiert bei fehlenden Daten? Was geschieht, wenn Bearbeitungszeit fälschlich als Lernschwäche interpretiert wird? Kann eine Lehrkraft den Score mit einer Note verwechseln? Können Betroffene nachvollziehen, wie eine Markierung zustande kam? Wird ein einmal erzeugter Verdacht später immer wieder bestätigt?
Mensch-KI-Arbeitsprozess dokumentieren
Wenn Du bei diesem Projekt ein KI-Werkzeug benutzt, soll es Dein Denken unterstützen und nicht ersetzen. Nutze keine echten personenbezogenen Schülerdaten. Gib keine vertraulichen Informationen ein.
Dokumentiere Deinen Prozess in einer Tabelle:
| Schritt | Meine eigene Vorarbeit | KI-Unterstützung | Was habe ich geprüft? | Was habe ich übernommen, verändert oder verworfen? |
|---|---|---|---|---|
| Problemdefinition | ||||
| Stakeholderanalyse | ||||
| Risikosuche | ||||
| Quellenrecherche | ||||
| Evaluationsidee | ||||
| Schlussentscheidung |
Transparenzregel: Eine gute Dokumentation nennt nicht nur „KI verwendet“, sondern zeigt, wo sie eingesetzt wurde, welche Vorschläge geprüft wurden und wer die finale Entscheidung getroffen hat.
Abschlussprodukt: Systemkarte und Entscheidungsmemo
Erstelle eine sichtbare Lösung auf einer Seite oder einem digitalen Poster. Das Produkt soll verständlich sein, ohne dass jemand den gesamten Kurs gelesen hat.
| Baustein | Muss enthalten |
|---|---|
| Problem | konkrete Aufgabe und begrenzter Verwendungszweck |
| System | Daten, Verarbeitung, Ausgabe, Systemgrenze |
| Stakeholder | mindestens vier Perspektiven und ein echter Zielkonflikt |
| Evaluation | technische Kennzahl, Fehlertypen und Teilgruppenprüfung |
| Human Agency | mindestens zwei echte Eingriffsmöglichkeiten für Menschen |
| Governance | Verantwortliche, Kontrollstelle, Beschwerde- oder Eskalationsweg |
| Folgenabschätzung | Nutzen, Risiken, Grundrechte und Schutzmaßnahmen |
| Entscheidung | Pilot, Überarbeitung, Einsatz unter Bedingungen oder Verzicht |
| Mensch-KI-Protokoll | dokumentierter eigener und KI-unterstützter Arbeitsanteil |
Qualitätscheck vor der Abgabe
Prüfe Dein Produkt mit fünf Fragen: Ist der Zweck eng genug formuliert? Kann ein Mensch eine KI-Empfehlung wirksam korrigieren? Wurden Fehlerfolgen statt nur Trefferquoten untersucht? Sind die Interessen Betroffener sichtbar? Lässt sich nachvollziehen, warum Ihr zu Eurer Entscheidung gekommen seid?
Wenn eine Frage mit „nein“ beantwortet wird, ist das kein Scheitern, sondern ein Hinweis für die nächste Überarbeitung.
Transfer auf neue Fälle
Verantwortung zeigt sich besonders dann, wenn Du Deine Kriterien auf neue Situationen übertragen kannst.
Transferfall 1 – Ausbildungsbetrieb: Ein Unternehmen will KI nutzen, um Bewerbungen für Ausbildungsplätze vorzusortieren.
Transferfall 2 – Kommune: Eine Stadt möchte KI einsetzen, um Hinweise auf besonders reparaturbedürftige Straßen zu priorisieren.
Transferfall 3 – Jugendzentrum: Eine Einrichtung überlegt, mit KI beleidigende Kommentare in einem öffentlichen Chat zu erkennen.
Wähle einen Fall und übertrage mindestens fünf Elemente Deines LernRadar-Designs. Achte darauf, dass dieselbe Regel je nach Kontext anders ausfallen kann. Ein Fehlalarm bei einer Straßenschadenanalyse hat andere Folgen als ein Fehlalarm bei einer Bewerbung.
Fächerübergreifende Bezüge
| Fach | Beitrag zum Projekt |
|---|---|
| Informatik | Daten, Modelle, Systemgrenzen, Schnittstellen, Testen, Robustheit |
| Mathematik | Wahrscheinlichkeiten, Fehlerraten, Kennzahlen, Schwellenwerte, Dateninterpretation |
| Technik | Entwicklungszyklen, Sicherheit, Mensch-Maschine-Schnittstellen, Fehlertoleranz |
| Deutsch | Quellenkritik, Argumentation, adressatengerechte Erklärung, Entscheidungsmemo |
| Wirtschaft | Kosten, Nutzen, Anreize, Haftungs- und Reputationsrisiken, Anbieterinteressen |
| Geschichte | Vergleich mit früheren Automatisierungs- und Rationalisierungsprozessen sowie institutionellen Bewertungssystemen |
| Ethik | Werteabwägung, Verantwortung, Gerechtigkeit, Autonomie, Folgen |
| Gemeinschaftskunde | Grundrechte, Macht, demokratische Kontrolle, Beteiligung, Regulierung |
Interaktive Aufgaben
Quiz: Teste Dein Wissen
Eine Schule möchte LernRadar einführen. Welcher erste Schritt stärkt verantwortliches Systemdesign am meisten? (Den konkreten Zweck und die betroffenen Personen festlegen) (!Möglichst viele Daten sammeln) (!Den höchsten verfügbaren Modellwert auswählen) (!Die Entscheidung vollständig an die Software delegieren)
Ein System erkennt Förderbedarf bei 75 Prozent der tatsächlich hilfebedürftigen Lernenden. Welche Frage bleibt trotzdem offen? (Welche Folgen die übersehenen und falsch markierten Fälle haben) (!Ob der Computer eingeschaltet ist) (!Ob alle Lehrkräfte dasselbe Passwort nutzen) (!Ob das System eine farbige Oberfläche besitzt)
Was ist ein Beispiel für echte menschliche Kontrolle? (Eine Lehrkraft kann eine Empfehlung prüfen, verwerfen und begründet korrigieren) (!Eine Lehrkraft muss jeden KI-Vorschlag unverändert bestätigen) (!Das System blendet den Score ohne Erklärung ein) (!Die Verantwortung wird im Fehlerfall dem Algorithmus zugeschrieben)
Warum genügt eine hohe durchschnittliche Genauigkeit nicht für eine Fairnessbewertung? (Weil Teilgruppen unterschiedlich stark von Fehlern betroffen sein können) (!Weil Durchschnittswerte grundsätzlich verboten sind) (!Weil Fairness nur von der Rechenleistung abhängt) (!Weil genaue Systeme niemals Daten benötigen)
Welche Aussage beschreibt Governance am besten? (Regeln, Rollen, Nachweise und Kontrollwege für den verantwortlichen Betrieb) (!Die grafische Gestaltung eines Logos) (!Die Anzahl der Trainingsdaten) (!Die Geschwindigkeit eines Prozessors)
Warum ist eine gewichtete Entscheidungsmatrix kein automatischer Entscheider? (Weil Auswahl und Gewichtung der Kriterien selbst begründet werden müssen) (!Weil Tabellen keine Zahlen enthalten dürfen) (!Weil nur KI Werte vergleichen kann) (!Weil jede Option dieselbe Punktzahl erhalten muss)
Welcher Fall beschreibt einen falsch negativen Befund bei LernRadar? (Eine hilfebedürftige Person wird vom System nicht markiert) (!Eine nicht hilfebedürftige Person wird markiert) (!Eine hilfebedürftige Person wird korrekt markiert) (!Eine nicht hilfebedürftige Person wird korrekt nicht markiert)
Welche Maßnahme stärkt Human Agency besonders? (Ein verständlicher Widerspruchs- und Überprüfungsweg) (!Ein geheimer Schwellenwert ohne Einsicht) (!Eine automatische Entscheidung ohne Eingriffsmöglichkeit) (!Eine Oberfläche, die Unsicherheit ausblendet)
Was gehört zu einer Folgenabschätzung? (Nutzen, mögliche Schäden, Betroffene und Schutzmaßnahmen untersuchen) (!Nur die Anschaffungskosten ausrechnen) (!Nur die Modellgröße vergleichen) (!Nur positive Wirkungen dokumentieren)
Welche Dokumentation zeigt einen verantwortlichen Mensch-KI-Arbeitsprozess? (Eigene Vorarbeit, KI-Beiträge, Prüfung und finale menschliche Entscheidung werden getrennt festgehalten) (!Nur der Name des verwendeten Werkzeugs wird genannt) (!Die KI-Ausgabe wird ungeprüft als eigene Lösung übernommen) (!Alle Zwischenschritte werden gelöscht)
Memory
| Human Agency | Wirksame menschliche Handlungs- und Entscheidungsmöglichkeit |
| Governance | Regeln für Zuständigkeit, Kontrolle und Nachweise |
| False Positive | Fälschlich als auffällig markierter Fall |
| False Negative | Tatsächlich relevanter, aber übersehener Fall |
| Stakeholder | Betroffene oder einflussreiche Interessengruppe |
| Folgenabschätzung | Systematische Prüfung möglicher Wirkungen und Schäden |
| Automation Bias | Unkritische Übernahme maschineller Empfehlungen |
| Systemgrenze | Festlegung dessen, was zum betrachteten System gehört |
Drag and Drop
| Ordne die richtigen Begriffe zu. | Thema |
|---|---|
| Stakeholderanalyse | Interessen und Macht betroffener Gruppen untersuchen |
| Evaluation | Leistung, Fehler und Auswirkungen mit Kriterien prüfen |
| Governance | Rollen, Regeln und Eskalationswege festlegen |
| Human Agency | Eingreifen, widersprechen und Entscheidungen korrigieren können |
| Folgenabschätzung | Nutzen, Schäden und Grundrechtswirkungen vorausschauend bewerten |
...
Kreuzworträtsel
| Fairness | Welches Ziel verlangt, dass Gruppen nicht ungerecht benachteiligt werden? |
| Transparenz | Welches Prinzip verlangt nachvollziehbare Informationen über System und Nutzung? |
| Aufsicht | Wie heißt menschliche Kontrolle über einen laufenden Prozess? |
| Stakeholder | Wie nennt man eine betroffene oder einflussreiche Interessengruppe? |
| Robustheit | Welcher Begriff beschreibt Widerstandsfähigkeit gegen Fehler und Störungen? |
| Verantwortung | Welcher Begriff bezeichnet die Pflicht, Entscheidungen und Folgen zurechenbar zu tragen? |
LearningApps
Lückentext
Offene Aufgaben
Leicht
- Systemskizze: Zeichne LernRadar als Flussdiagramm von Daten über Modell und Anzeige bis zur menschlichen Entscheidung. Markiere mindestens zwei Stellen, an denen ein Mensch eingreifen kann.
- Stakeholder-Porträts: Schreibe aus Sicht einer Schülerin, einer Lehrkraft, eines Elternteils und der Schulleitung jeweils zwei Sätze zu Hoffnung und Sorge.
- Fehlerfolgen: Erfinde je ein realistisches Beispiel für einen falsch positiven und einen falsch negativen Fall und beschreibe die Folgen.
- Transparenztext: Formuliere einen kurzen Hinweis für Lernende, der verständlich erklärt, was LernRadar tut und was es ausdrücklich nicht entscheidet.
Standard
- Risikomatrix: Ordne mindestens sechs Risiken nach Wahrscheinlichkeit und Schadensausmaß ein. Ergänze für jedes Risiko eine Schutzmaßnahme.
- Evaluationsplan: Lege fest, welche Kennzahlen, Teilgruppen, Beobachtungszeiträume und qualitativen Rückmeldungen Du vor einem Schuleinsatz prüfen würdest.
- Governance-Plan: Entwirf Rollen für Freigabe, Betrieb, Datenschutz, Fehlerprüfung, Beschwerde und Stopp des Systems. Begründe die Trennung wichtiger Zuständigkeiten.
- Quellencheck: Vergleiche zwei seriöse Quellen zu verantwortlicher KI. Prüfe Autor, Aktualität, Interessen, Belege und Übereinstimmungen. Kennzeichne Unsicherheiten.
Schwer
- Pilotstudie: Entwirf einen begrenzten schulischen Pilotversuch mit Einwilligungs- oder Informationskonzept, Ausstiegsmöglichkeit, Kontrollgruppe oder Vergleichsmaßstab und klaren Abbruchkriterien.
- Wertekonflikt: Entwickle eine Entscheidung, bei der Förderwirkung und Datenschutz in Konflikt geraten. Begründe, welches Kriterium unter welchen Bedingungen Vorrang erhält.
- Transferaudit: Übertrage Dein Bewertungsraster auf ein KI-System zur Vorauswahl von Ausbildungsbewerbungen. Zeige mindestens drei Punkte, die wegen des neuen Kontextes anders beurteilt werden müssen.
- Mensch-KI-Debatte: Lass ein KI-Werkzeug Gegenargumente zu Deiner bevorzugten Lösung erzeugen. Prüfe jedes Argument mit Quellen und verfasse anschließend selbst eine begründete Endentscheidung.


Lernkontrolle
- Systementscheidung: Eine Schule möchte den Risikoscore zusätzlich automatisch in die Halbjahresberatung übernehmen. Analysiere, wie sich Zweck, Risiko und notwendige menschliche Kontrolle dadurch verändern.
- Kennzahlenkonflikt: Zwei Modelle stehen zur Auswahl. Modell A übersieht weniger Hilfebedürftige, markiert aber mehr Unbeteiligte. Modell B ist umgekehrt. Entwickle eine begründete Entscheidung für einen schulischen Kontext.
- Governance-Transfer: Bei einem Fehler behaupten Anbieter und Schule jeweils, die andere Seite sei verantwortlich. Entwirf eine Governance-Struktur, die solche Verantwortungslücken vorher verhindert.
- Grundrechtsabwägung: Begründe, warum ein nützliches KI-System trotzdem abgelehnt oder stark verändert werden kann, wenn Rechte Betroffener nicht ausreichend geschützt werden.
- Fairnessprüfung: Ein System erreicht insgesamt 90 Prozent Genauigkeit, bei einer kleinen Teilgruppe aber nur 65 Prozent. Lege einen Untersuchungsplan fest und begründe, welche zusätzlichen Informationen Du vor einer Entscheidung brauchst.
- Human-Agency-Test: Eine Lehrkraft darf einen KI-Vorschlag formal überschreiben, hat dafür aber nur fünf Sekunden und sieht keine Begründung. Beurteile, ob echte menschliche Kontrolle vorliegt, und entwirf Verbesserungen.
Lernnachweis
Für einen überzeugenden Lernnachweis zu diesem Thema ist wichtig, dass Du nicht nur Fachbegriffe nennst, sondern einen nachvollziehbaren Entscheidungsweg dokumentierst.
- Problemdefinition: Zweck, Zielgruppe und Systemgrenze sind klar und realistisch beschrieben.
- Stakeholderanalyse: Mehrere Perspektiven und mindestens ein echter Zielkonflikt werden sichtbar.
- Systemdesign: Daten, Ausgaben, menschliche Eingriffspunkte und Grenzen sind nachvollziehbar.
- Evaluation: Kennzahlen, Fehlertypen, Teilgruppen und qualitative Folgen werden gemeinsam bewertet.
- Governance: Rollen, Verantwortliche, Kontroll- und Beschwerdewege sind konkret benannt.
- Grundrechte und Werte: Relevante Rechte und ethische Prinzipien werden abgewogen, nicht nur aufgezählt.
- Folgenabschätzung: Nutzen, Risiken, Schutzmaßnahmen und Restunsicherheiten sind dokumentiert.
- Entscheidungsbegründung: Die gewählte Lösung folgt aus Kriterien und Belegen; Gegenargumente werden berücksichtigt.
- Mensch-KI-Protokoll: Eigene Arbeit, KI-Unterstützung, Quellenprüfung und finale menschliche Entscheidung sind transparent getrennt.
- Transfer: Das Verfahren wird auf mindestens einen neuen Fall übertragen und an den Kontext angepasst.
OERs zum Thema
Verknüpfte Lernbereiche
aiMOOC-Projekte
NEWSLernweltNOAH fragen