KI mit Testfällen bewerten
KI mit Testfällen bewerten
KI mit Testfällen bewerten
KI-Systeme sind nicht deshalb gut, weil sie eindrucksvoll wirken oder im Durchschnitt oft richtig liegen. Ob ein System verantwortbar eingesetzt werden kann, zeigt sich erst, wenn Du seine Aufgabe präzise beschreibst, gezielte Testfälle entwirfst, Ergebnisse dokumentierst, Betroffene einbeziehst und mögliche Folgen bewertest. In diesem aiMOOC lernst Du deshalb nicht nur, eine KI technisch zu prüfen, sondern ein soziotechnisches System zu beurteilen: Daten, Modell, Benutzeroberfläche, Menschen, Regeln, Organisation und gesellschaftlicher Kontext gehören zusammen.
Der Kurs richtet sich besonders an Klasse 10 und verbindet Informatik, Mathematik, Technik, Deutsch, Wirtschaft, Geschichte, Ethik und Gemeinschaftskunde. Du arbeitest mit einer realistischen, aber vollständig fiktiven Fallentscheidung: Ein Unternehmen erwägt ein KI-System zur Vorauswahl von Bewerbungen für Ausbildungsplätze. Deine Aufgabe ist nicht, eine fertige Mustermeinung zu übernehmen. Du sollst Kriterien festlegen, Belege prüfen, Zielkonflikte sichtbar machen und am Ende ein nachvollziehbares Urteil formulieren.
Lernziele
Nach dem Kurs kannst Du einen Testfall mit Eingabe, erwartbarem Verhalten, Beobachtung und Bewertung beschreiben. Du kannst einfache Kennzahlen aus einer Konfusionsmatrix berechnen und erklären, warum eine einzige Kennzahl keine vollständige Bewertung liefert. Du kannst Risiken für Fairness, Datenschutz, Transparenz, Sicherheit, Grundrechte und menschliche Aufsicht untersuchen. Außerdem kannst Du zwischen Modellleistung und Systemqualität unterscheiden, mehrere Stakeholder-Perspektiven abwägen und eine Entscheidung mit Kriterien und Belegen begründen.
Zeitplan für 1–2 Unterrichtsstunden
| Phase | Zeit | Tätigkeit | Schwerpunkt |
|---|---|---|---|
| Aktivierung und Diagnose | 5–10 Minuten | Spontanurteil zu einem KI-Auswahlfall und erste Begründung | Vorwissen, Human Agency |
| Verständliche Einführung | 15–20 Minuten | Testfälle, Systemgrenze, Kennzahlen, Fairness und Robustheit | Informatik, Mathematik, Technik |
| Testwerkstatt | 20–25 Minuten | Vorgegebene und eigene Testfälle untersuchen | Evaluation, Quellenkritik |
| Stakeholder- und Governance-Rat | 20–25 Minuten | Risiken, Auflagen und Zuständigkeiten aushandeln | Ethik, Wirtschaft, Gemeinschaftskunde |
| Urteil, Selbstkontrolle und Transfer | 10–15 Minuten | Entscheidung mit Belegen formulieren und auf neuen Fall übertragen | Deutsch, Ethik, Transfer |
Für eine einzelne 45-Minuten-Stunde kannst Du die Testwerkstatt auf die Testfälle K1 bis K4 begrenzen und das Abschlussurteil als Hausaufgabe verfassen. Für 80–90 Minuten nutzt Du den vollständigen Ablauf.
Aktivierung und Diagnose
Ausgangssituation: Die fiktive „Morgenwerk GmbH“ erhält 600 Bewerbungen für 40 Ausbildungsplätze. Ein KI-System soll Bewerbungen vorsortieren. Die Personalabteilung sieht anschließend nur die 120 Bewerbungen mit den höchsten Punktwerten. Das Unternehmen verspricht sich schnellere Abläufe. Eine Schülervertretung fragt dagegen, ob geeignete Jugendliche unsichtbar werden könnten, bevor je ein Mensch ihre Bewerbung liest.
Dein 60-Sekunden-Urteil: Entscheide zunächst ohne weitere Informationen zwischen einsetzen, nur unter Auflagen testen und nicht einsetzen. Notiere zwei Gründe und mindestens eine Information, die Dir für ein belastbares Urteil fehlt. Bewahre diese Notiz bis zum Ende auf und vergleiche dann, ob sich Dein Urteil verändert hat.
Verständliche Einführung
Was ist ein Testfall?
Ein Testfall ist eine geplante Prüfung mit einem klaren Zweck. Bei klassischer Software kann die Erwartung oft exakt sein: „Wenn ich 2 + 3 eingebe, muss 5 ausgegeben werden.“ Bei KI-Systemen ist die Lage häufig schwieriger. Das System arbeitet mit Wahrscheinlichkeiten, Datenmustern oder unvollständigen Informationen. Trotzdem kannst Du überprüfbare Erwartungen formulieren, zum Beispiel: Eine irrelevante Änderung wie die Formatierung einer Datei darf die Eignungsbewertung nicht stark verändern oder zwei inhaltlich gleichwertige Bewerbungen dürfen nicht allein wegen eines Namens unterschiedlich bewertet werden.
| Bestandteil | Leitfrage | Beispiel |
|---|---|---|
| Zweck | Was soll geprüft werden? | Robustheit gegen harmlose Formatänderungen |
| Eingabe | Welche Daten erhält das System? | Inhaltlich identische Bewerbung als PDF und als Textdatei |
| Erwartbares Verhalten | Was wäre aufgrund des Kriteriums angemessen? | Ähnliche Bewertung |
| Beobachtung | Was gibt das System tatsächlich aus? | 76 Punkte und 54 Punkte |
| Bewertung | Ist die Abweichung akzeptabel? | Nein, weil das Dateiformat kein Eignungskriterium ist |
| Beleg | Was dokumentierst Du? | Eingaben, Version, Zeitpunkt, Ausgabe und Differenz |
Ein guter Testfall ist deshalb mehr als eine Frage an ein KI-System. Er verbindet Anforderung, Versuch, Beobachtung und Urteil. Wenn Du nach einem fehlgeschlagenen Test das System oder den Prompt änderst, brauchst Du anschließend einen neuen Testlauf. Sonst würdest Du nur zeigen, dass Du das System auf bekannte Aufgaben angepasst hast.
Systemdesign: Bewerte nicht nur das Modell
Ein KI-Modell ist nur ein Teil eines größeren Systems. Die Qualität einer realen Entscheidung hängt auch davon ab, welche Daten eingespeist werden, wer die Ausgaben sieht, welche Schwellenwerte gelten, wie Menschen eingreifen können, ob Fehler protokolliert werden und ob Betroffene widersprechen können.
| Systemebene | Prüffrage | Möglicher Fehler |
|---|---|---|
| Zweck | Ist die Aufgabe legitim und ausreichend eng beschrieben? | „Finde die besten Menschen“ ist zu unklar und wertgeladen |
| Daten | Sind Merkmale relevant, aktuell und geeignet? | Wohnort wirkt als problematischer Stellvertreter für soziale Herkunft |
| Modell | Welche Muster erzeugen die Bewertung? | Seltene Lebensläufe werden systematisch niedriger bewertet |
| Schnittstelle | Versteht die Personalabteilung Unsicherheit und Grenzen? | Eine Punktzahl wirkt genauer, als sie tatsächlich ist |
| Prozess | Kann ein Mensch korrigieren und begründen? | Menschen sehen abgelehnte Fälle nie |
| Governance | Wer trägt Verantwortung und prüft Beschwerden? | Zuständigkeit wird zwischen Anbieter und Unternehmen hin- und hergeschoben |
| Folgen | Wer profitiert, wer trägt Risiken? | Zeitersparnis für das Unternehmen, Zugangsnachteile für einzelne Bewerbende |
Systemdesign bedeutet hier: Du gestaltest nicht nur eine technische Funktion, sondern auch Rollen, Informationswege, Entscheidungsrechte und Schutzmaßnahmen. Genau dort beginnt Human Agency: Menschen setzen Ziele, dürfen Ausgaben hinterfragen, können Entscheidungen korrigieren und bleiben verantwortlich.
Evaluation: Welche Qualität willst Du messen?
„Die KI hat 90 Prozent Genauigkeit“ klingt stark, beantwortet aber nicht, welche Fehler gemacht werden und wen sie treffen. Für ein Auswahlverfahren können falsch abgelehnte geeignete Bewerbende besonders problematisch sein. Du brauchst deshalb mehrere Kriterien.
| Kriterium | Prüffrage | Beispiel für einen Test |
|---|---|---|
| Validität | Misst das System tatsächlich etwas, das für die Aufgabe wichtig ist? | Prüfen, ob der Score mit vorher festgelegten beruflich relevanten Kriterien zusammenhängt |
| Zuverlässigkeit | Kommt bei gleichen Bedingungen ein ähnliches Ergebnis heraus? | Gleiche Eingabe mehrfach testen |
| Robustheit | Bleibt das Verhalten bei kleinen, irrelevanten Änderungen stabil? | Dateiformat, Rechtschreibfehler oder Reihenfolge ändern |
| Fairness | Entstehen unbegründete Nachteile für Personen oder Gruppen? | Gegenfaktische Testpaare mit nur einem irrelevanten Merkmal |
| Transparenz | Können Nutzende Zweck, Grenzen und Ergebnis nachvollziehen? | Personalperson soll eine Entscheidung ohne Anbieter-Jargon erklären |
| Sicherheit | Was passiert bei Fehlbedienung oder Manipulation? | Unerwartete Eingabe, Prompt-Injection oder beschädigte Datei simulieren |
| Datenschutz | Werden nur notwendige Daten verarbeitet und geschützt? | Prüfen, ob unnötige personenbezogene Merkmale entfernt werden können |
| Menschliche Aufsicht | Kann ein Mensch wirksam prüfen, überstimmen und stoppen? | Grenzfall muss sichtbar werden und manuell überprüfbar sein |
Mathematik: Fehler sichtbar machen
Für binäre Entscheidungen wie „zur nächsten Runde empfehlen“ oder „nicht empfehlen“ hilft eine Konfusionsmatrix. Dabei vergleichst Du eine zuvor definierte Referenzbewertung mit der Systementscheidung.
TP – True Positive: geeignet und empfohlen. FP – False Positive: nicht geeignet, aber empfohlen. FN – False Negative: geeignet, aber nicht empfohlen. TN – True Negative: nicht geeignet und nicht empfohlen.
Daraus lassen sich einfache Kennzahlen berechnen:
Trefferquote = (TP + TN) / alle Fälle
Präzision = TP / (TP + FP)
Recall = TP / (TP + FN)
Der Recall ist in unserem Fall besonders interessant, weil er zeigt, welcher Anteil der nach der Referenz geeigneten Bewerbungen überhaupt in die nächste Runde gelangt. Eine hohe Trefferquote kann trotzdem problematisch sein, wenn die wenigen Fehler überwiegend geeignete Menschen ausschließen. Mathematik liefert also Belege, aber die Gewichtung der Folgen bleibt eine normative Entscheidung.
Fairness: Gleiche Behandlung ist nicht immer genug
Bias bedeutet zunächst eine systematische Verzerrung. Problematisch wird sie, wenn ein System relevante Gruppen oder Personen ohne sachliche Rechtfertigung benachteiligt. Verzerrungen können aus historischen Daten, unausgewogenen Klassen, ungeeigneten Zielgrößen, Messfehlern oder Rückkopplungen entstehen.
Ein besonders verständlicher Test ist der gegenfaktische Testfall: Du hältst alle relevanten Informationen gleich und änderst nur ein Merkmal, das die Entscheidung nicht beeinflussen sollte. Wenn sich die Ausgabe stark verändert, hast Du einen Hinweis auf ein Problem. Ein einzelnes Paar beweist noch keine allgemeine Diskriminierung, liefert aber einen Grund für weitere Tests.
Bei Fairness gibt es Zielkonflikte. Um Benachteiligungen statistisch zu prüfen, können Informationen über Gruppen nötig sein; gleichzeitig muss Datenschutz beachtet werden. Die Lösung ist nicht „mehr Daten um jeden Preis“, sondern eine begründete Daten-Governance mit klarer Zweckbindung, Schutzmaßnahmen und möglichst sparsamer Datennutzung.
Transparenz, Erklärbarkeit und menschliche Kontrolle
Transparenz heißt nicht, dass jede Codezeile veröffentlicht werden muss. Für die betroffene Person ist wichtiger, dass sie weiß, dass KI beteiligt ist, welche Rolle sie spielt, welche Informationen entscheidungsrelevant sind, welche Grenzen bestehen und wie eine Entscheidung überprüft werden kann. Erklärbarkeit muss zum Kontext passen.
Das frei lizenzierte KI-Campus-Video nutzt einen medizinischen Kontext, lässt sich aber gut übertragen: Je folgenreicher eine Entscheidung, desto wichtiger werden nachvollziehbare Gründe, menschliche Kontrolle und eine Möglichkeit zur Korrektur.
Menschliche Aufsicht ist nicht gleichbedeutend mit „irgendwo sitzt noch ein Mensch“. Wenn Menschen die KI-Ausgabe aus Zeitdruck immer bestätigen, entsteht Automation Bias. Wirksame Aufsicht braucht Zeit, Kompetenz, Zugriffsrechte, die Möglichkeit zum Überstimmen und klare Verantwortung.
Governance: Wer darf was entscheiden?
Governance beschreibt Regeln, Rollen, Kontrollen und Verantwortlichkeiten rund um ein System. Der europäische AI Act ordnet KI-Systeme zur Analyse und Filterung von Bewerbungen beziehungsweise zur Bewertung von Kandidatinnen und Kandidaten dem Hochrisikobereich Beschäftigung zu. Für Hochrisiko-KI sieht die Verordnung unter anderem Risikomanagement, Anforderungen an Daten-Governance, technische Dokumentation, Transparenz gegenüber Betreibenden, menschliche Aufsicht sowie Anforderungen an Genauigkeit, Robustheit und Cybersicherheit vor.
Für diesen Kurs genügt eine schulische Governance-Checkliste:
| Governance-Frage | Mindestanforderung |
|---|---|
| Wer genehmigt den Zweck? | Eine verantwortliche Stelle legt den zulässigen Einsatz fest |
| Wer testet? | Nicht nur die Person, die das System entwickelt oder einkauft |
| Wer darf überstimmen? | Benannte, geschulte Personen mit echter Entscheidungskompetenz |
| Was wird protokolliert? | Version, Testfälle, Änderungen, relevante Entscheidungen und Vorfälle |
| Wie können Betroffene reagieren? | Verständliche Information, Kontaktstelle und überprüfbarer Widerspruchsweg |
| Wann wird neu geprüft? | Nach wesentlichen Änderungen und regelmäßig im Betrieb |
| Wann wird gestoppt? | Bei schwerwiegenden oder nicht kontrollierbaren Risiken |
Die UNESCO betont in ihrer Empfehlung zur Ethik der KI unter anderem Menschenrechte und Menschenwürde, Fairness, Sicherheit, Datenschutz, Transparenz, Verantwortlichkeit und menschliche Aufsicht. Auch das NIST AI Risk Management Framework behandelt KI-Risikomanagement über den Lebenszyklus und verweist auf Testen, Evaluation, Verifikation und Validierung. Solche Rahmenwerke ersetzen kein eigenes Urteil, helfen aber dabei, Prüffragen systematisch zu ordnen.
Folgenabschätzung: Vor dem Einsatz über Schäden und Nutzen nachdenken
Eine Folgenabschätzung fragt nicht nur „Funktioniert das System?“, sondern „Was kann mit wem passieren, wie schwer wäre das und welche Schutzmaßnahmen gibt es?“. Dabei solltest Du direkte und indirekte Folgen betrachten.
| Perspektive | Möglicher Nutzen | Mögliches Risiko | Prüffrage |
|---|---|---|---|
| Bewerbende | Schnellere Rückmeldung | Unbemerkte Benachteiligung | Können Entscheidungen erklärt und angefochten werden? |
| Personalabteilung | Weniger Routinearbeit | Übervertrauen in Scores | Werden Unsicherheit und Grenzfälle sichtbar? |
| Unternehmen | Skalierbarer Prozess | Rechts-, Reputations- und Qualitätsrisiken | Gibt es dokumentierte Freigabe- und Stopkriterien? |
| KI-Anbieter | Produktverbesserung | Interessenkonflikt bei der Selbstbewertung | Gibt es unabhängige Tests? |
| Gesellschaft | Effizientere Vermittlung | Verstärkung bestehender Ungleichheiten | Welche Gruppen tragen systematisch höhere Fehlerkosten? |
Eine einfache Risikomatrix kombiniert Schadensschwere und Wahrscheinlichkeit. Bei hoher Unsicherheit solltest Du nicht so tun, als sei die Wahrscheinlichkeit exakt bekannt. Dann dokumentierst Du Unsicherheit und planst zusätzliche Tests oder begrenzte Pilotierung.
Realistische Anwendungssituation: KI in der Ausbildungsplatz-Auswahl
Wichtig: Die folgenden Daten, Personen und Ergebnisse sind synthetisch und dienen nur dem Lernen. Sie behaupten nichts über ein reales KI-Produkt oder ein reales Unternehmen.
Systembeschreibung
Die fiktive Morgenwerk GmbH bildet in Mechatronik, Lagerlogistik und kaufmännischen Berufen aus. Ein eingekauftes KI-System erzeugt für jede Bewerbung einen Score von 0 bis 100. Ab 70 Punkten wird die Bewerbung automatisch in die menschliche Vorauswahl gegeben. Unter 70 Punkten wird sie zunächst nicht angezeigt.
Der Anbieter nennt als Eingaben: Schulnoten, Text des Anschreibens, angegebene Projekte, Fehlzeiten, Entfernung zum Standort und Metadaten der Dokumente. Er wirbt mit „schnellerer und objektiverer Vorauswahl“. Die Personalabteilung hat noch nicht festgelegt, wie stark einzelne Merkmale einfließen dürfen.
Systemgrenze: Für die Bewertung zählen nicht nur Modell und Score. Dazu gehören Upload-Portal, Datenaufbereitung, Schwellenwert, Anzeigeoberfläche, Personalprozess, Protokollierung, Beschwerdeweg und spätere Nachkontrolle.
Stakeholder und Zielkonflikte
| Stakeholder | Typisches Interesse | Möglicher Zielkonflikt |
|---|---|---|
| Bewerbende | Faire Chance und verständliche Entscheidung | Schnelligkeit darf nicht zu unsichtbaren Fehlablehnungen führen |
| Personalabteilung | Zeit sparen und geeignete Personen finden | Effizienz kann sorgfältige Einzelfallprüfung verdrängen |
| Geschäftsleitung | Kosten senken und Ausbildungsplätze besetzen | Kurzfristige Effizienz kann langfristige Risiken erhöhen |
| Betriebsrat oder Beschäftigtenvertretung | Schutz fairer Arbeits- und Auswahlprozesse | Kontrolle kann als zusätzlicher Aufwand erscheinen |
| Gleichstellungs- und Datenschutzverantwortliche | Diskriminierung und unnötige Datennutzung vermeiden | Fairnessprüfung kann zusätzliche Daten erfordern |
| KI-Anbieter | Produktleistung zeigen und Geschäftsgeheimnisse schützen | Nachvollziehbarkeit und unabhängige Prüfung benötigen Informationen |
| Schule und Beratungsstellen | Jugendliche auf faire Übergänge vorbereiten | Unternehmen wollen interne Prozesse nicht vollständig offenlegen |
| Aufsicht und Öffentlichkeit | Grundrechte und verlässliche Regeln schützen | Innovation soll möglich bleiben |
Testwerkstatt A: Konfusionsmatrix
Ein unabhängiges, geschultes Zweierteam bewertet zwölf synthetische Bewerbungen anhand vorher festgelegter Kriterien. Diese Referenz ist nicht „absolute Wahrheit“, aber sie ist transparent dokumentiert und dient für den Test als Vergleich.
| Fall | Referenz: für nächste Runde geeignet? | KI empfiehlt nächste Runde? |
|---|---|---|
| A01 | Ja | Ja |
| A02 | Ja | Ja |
| A03 | Ja | Ja |
| A04 | Ja | Ja |
| A05 | Ja | Nein |
| A06 | Ja | Nein |
| A07 | Nein | Ja |
| A08 | Nein | Nein |
| A09 | Nein | Nein |
| A10 | Nein | Nein |
| A11 | Nein | Nein |
| A12 | Nein | Nein |
Arbeitsauftrag: Bestimme TP, FP, FN und TN. Berechne Trefferquote, Präzision und Recall. Entscheide anschließend, welche Kennzahl für den Zugang zur nächsten Bewerbungsrunde besonders aussagekräftig ist. Begründe, warum eine mathematisch hohe Gesamtleistung noch kein ausreichender Beleg für einen verantwortbaren Einsatz ist.
Testwerkstatt B: Gegenfaktische und robuste Testfälle
| Testfall | Veränderung | Ergebnis vorher | Ergebnis nachher | Prüfidee |
|---|---|---|---|---|
| K1 | Nur Postleitzahl und Entfernung ändern sich, Qualifikation bleibt gleich | 81 | 66 | Ist der Einfluss sachlich gerechtfertigt oder wirkt ein problematischer Proxy? |
| K2 | Name wird ausgeblendet, Inhalt bleibt identisch | 77 | 78 | Reagiert das System auf eine für die Eignung irrelevante Information? |
| K3 | PDF wird als Textdatei mit identischem Inhalt eingereicht | 75 | 58 | Robustheit gegen Formatwechsel |
| K4 | Zwei Rechtschreibfehler werden korrigiert, berufliche Informationen bleiben gleich | 69 | 76 | Wie stark darf Sprachform die Eignungsprognose beeinflussen? |
| K5 | Eine Betreuungspause wird erklärt statt nur als Zeitlücke gezeigt | 61 | 72 | Bewertet das System fehlende Kontextinformation unangemessen? |
| K6 | Im Anschreiben steht eine manipulative Anweisung an ein Sprachmodell | 64 | 93 | Sicherheit gegen Prompt-Injection oder unerwartete Inhalte |
Aufgabe: Markiere für jeden Testfall, ob Du vor allem Validität, Robustheit, Fairness, Sicherheit oder Transparenz prüfst. Mehrere Zuordnungen können begründbar sein. Lege danach für die zwei kritischsten Fälle eine Stop-, Änderungs- oder Nachtest-Maßnahme fest.
Testwerkstatt C: Eigene Testfälle entwerfen
Entwirf mindestens zwei neue Testfälle. Nutze dieses Schema:
| Feld | Deine Eintragung |
|---|---|
| Prüfziel | Welches Kriterium prüfst Du? |
| Ausgangseingabe | Welche synthetische Bewerbung oder Situation nutzt Du? |
| Gezielte Veränderung | Was änderst Du und was hältst Du konstant? |
| Erwartbares Verhalten | Welche Reaktion wäre begründbar? |
| Beleg | Was musst Du protokollieren? |
| Entscheidung | Wann gilt der Test als bestanden, auffällig oder kritisch? |
Verwende keine echten personenbezogenen Bewerbungsdaten aus Deiner Klasse. Arbeite mit erfundenen Fällen.
Governance-Rat: Rollenentscheidung statt Bauchgefühl
Bildet Gruppen mit mindestens vier Rollen: Bewerbende, Personalabteilung, Unternehmensleitung und unabhängige Prüfstelle. Optional kommen Datenschutz, Beschäftigtenvertretung und KI-Anbieter hinzu. Jede Rolle erhält dieselben Testergebnisse, darf aber andere Risiken gewichten.
Eure Gruppe muss sich auf eine der drei Entscheidungen einigen: Freigeben, begrenzter Pilot unter Auflagen oder vorerst nicht einsetzen. Es gibt keine vorgegebene richtige Option. Entscheidend ist die Qualität der Begründung.
Nutzt dabei die folgende Urteilsstruktur:
| Schritt | Leitfrage |
|---|---|
| Kriterium | Welche Anforderungen müssen erfüllt sein? |
| Beleg | Welcher Test oder welche Quelle stützt Eure Aussage? |
| Betroffene | Wer profitiert, wer trägt das Risiko? |
| Zielkonflikt | Welche Werte oder Interessen stehen gegeneinander? |
| Schutzmaßnahme | Welche technische oder organisatorische Änderung mindert das Risiko? |
| Rest-Risiko | Was bleibt trotz Maßnahme offen? |
| Urteil | Warum ist Eure Entscheidung verhältnismäßig und überprüfbar? |
Mindestbedingungen statt bloßer Durchschnittsnote: Eine hohe Gesamtpunktzahl darf ein schwerwiegendes ungelöstes Grundrechts- oder Sicherheitsproblem nicht einfach „wegmitteln“. Definiert deshalb zuerst rote Linien, beispielsweise einen nicht kontrollierbaren diskriminierenden Effekt oder fehlende wirksame menschliche Eingriffsmöglichkeit. Erst danach könnt Ihr andere Kriterien gegeneinander gewichten.
Gestaltung: Aus einem schlechten Test ein besseres System machen
Evaluation soll nicht nur Fehler finden, sondern Gestaltung verbessern. Für jeden kritischen Testfall kannst Du mindestens vier Arten von Maßnahmen unterscheiden:
| Ebene | Beispiel |
|---|---|
| Daten | Irrelevante oder problematische Merkmale entfernen, Datenqualität dokumentieren |
| Modell | Modell anpassen, Schwellenwert ändern, Unsicherheit sichtbar machen |
| Oberfläche | Warnhinweise, Begründungen und Grenzfälle verständlich anzeigen |
| Organisation | Zweitprüfung, Widerspruch, Schulung, Protokollierung und Stop-Regeln einführen |
Danach folgt ein Retest. Eine Maßnahme ist erst dann überzeugend, wenn neue Belege zeigen, dass sie das Problem tatsächlich reduziert und nicht an anderer Stelle ein neues Risiko erzeugt.
Reflexion: Human Agency und Verantwortung
Beantworte schriftlich: Wer entscheidet in diesem System tatsächlich über Chancen? Ist der Mensch wirklich handlungsfähig oder bestätigt er nur einen Score? Welche Informationen braucht eine betroffene Person, um eine Entscheidung anzufechten? Welche Verantwortung bleibt beim Unternehmen, auch wenn ein externer Anbieter das Modell entwickelt hat? Welche Entscheidung würdest Du akzeptieren, wenn Du selbst zu den falsch abgelehnten Personen gehörtest?
Vertiefungsvideo: Algorithmische Verzerrung und Fairness
Das folgende englischsprachige Video von Crash Course erklärt verschiedene Quellen algorithmischer Verzerrung. Nutze es nicht als Autorität für ein fertiges Urteil, sondern als Ausgangspunkt für eigene Testideen.
Fächerübergreifende Bezüge
| Fach | Beitrag zum Thema | Transferfrage |
|---|---|---|
| Informatik | Testdesign, Daten, Modellgrenzen, Robustheit und Sicherheit | Welche Eingaben und Fehlerklassen wurden noch nicht getestet? |
| Mathematik | Konfusionsmatrix, Raten, Unsicherheit und Vergleich von Gruppen | Welche Kennzahl passt zur Folge eines Fehlers? |
| Technik | Systemgrenzen, Schnittstellen, Fail-Safe-Prinzip und Lebenszyklus | Wie muss ein System reagieren, wenn Daten fehlen oder ein Teilsystem ausfällt? |
| Deutsch | Kriterien präzisieren, Belege zitieren, Argumente und Gegenargumente abwägen | Ist das Abschlussurteil nachvollziehbar formuliert? |
| Wirtschaft | Effizienz, Kosten, Qualitätsrisiken, Anreize und Verantwortungsstrukturen | Wer spart Aufwand, und wer trägt mögliche Fehlerkosten? |
| Geschichte | Wandel von Rationalisierung, Standardisierung und datenbasierter Verwaltung | Welche Kontinuitäten und Unterschiede gibt es zu früheren Auswahl- und Bewertungssystemen? |
| Ethik | Gerechtigkeit, Menschenwürde, Verantwortung, Autonomie und Verhältnismäßigkeit | Welche Werte dürfen nicht allein durch Effizienz ersetzt werden? |
| Gemeinschaftskunde | Grundrechte, Regulierung, Institutionen, Beteiligung und Beschwerdemöglichkeiten | Wer kontrolliert mächtige Entscheidungssysteme und wie können Betroffene mitwirken? |
Quellenkritik und Belege
Für ein begründetes Urteil solltest Du zwischen Herstellerwerbung, Erfahrungsberichten, wissenschaftlichen Untersuchungen und offiziellen Regelwerken unterscheiden. Frage bei jeder Quelle: Wer veröffentlicht sie? Welches Interesse besteht? Welche Methode wurde verwendet? Ist die Information aktuell? Welche Aussage wird tatsächlich durch Daten belegt?
| Quelle | Wofür sie im Kurs genutzt wird |
|---|---|
| EU-Verordnung über künstliche Intelligenz | Hochrisiko-Einordnung bestimmter Auswahl- und Bildungssysteme sowie Anforderungen an Risikomanagement, Daten-Governance, Transparenz, menschliche Aufsicht, Genauigkeit, Robustheit und Cybersicherheit |
| UNESCO Recommendation on the Ethics of Artificial Intelligence | Menschenrechte, Fairness, Datenschutz, Transparenz, Verantwortlichkeit und menschliche Aufsicht |
| NIST AI Risk Management Framework | Lebenszyklusorientiertes Risikomanagement und systematische Evaluation |
| Bundeszentrale für politische Bildung: KI in der Schule | Politisch-historische Bildungsbezüge und algorithmische Diskriminierung |
Medienhinweise und freie Lizenzen
Die eingebundenen Commons-Medien wurden über ihre Dateibeschreibungsseiten ausgewählt. Besonders nachnutzungsfreundlich sind die Grafiken „Precision recall“, „Algorithmic bias“, „Transparency“, „Consent“ und „Revise“ unter CC0 beziehungsweise Public-Domain-Bedingungen. „Black box diagram“ und das deutsche KI-Campus-Video stehen unter CC BY-SA 4.0; „Artificial neural network“ und die Waage stehen unter freien Share-Alike-Lizenzen. Prüfe bei einer eigenen Weiterverwendung immer die konkrete Dateiseite und die dort genannten Lizenzbedingungen. Für externe YouTube-Einbettungen gelten zusätzlich die jeweiligen Plattform- und Lizenzbedingungen; das deutsche KI-Campus-Video liegt zugleich frei lizenziert auf Wikimedia Commons vor.
Interaktive Aufgaben
Quiz: Teste Dein Wissen
Warum ist ein Testfall mehr als eine einzelne Frage an ein KI-System? (Er verbindet Prüfziel Eingabe Erwartung Beobachtung und Bewertung) (!Er soll nur zeigen dass die KI überhaupt antwortet) (!Er ersetzt jede menschliche Entscheidung) (!Er muss immer eine einzige perfekte Musterantwort enthalten)
Welche Aussage beschreibt einen False Negative im Bewerbungsbeispiel? (Eine geeignete Bewerbung wird nicht empfohlen) (!Eine ungeeignete Bewerbung wird empfohlen) (!Eine geeignete Bewerbung wird empfohlen) (!Eine ungeeignete Bewerbung wird nicht empfohlen)
Warum reicht eine hohe Trefferquote für ein verantwortbares Urteil nicht aus? (Fehlerarten und Folgen können sehr unterschiedlich verteilt sein) (!Trefferquoten dürfen bei KI grundsätzlich nie berechnet werden) (!Eine hohe Trefferquote bedeutet immer vollständige Fairness) (!Eine hohe Trefferquote ersetzt die Beschreibung des Einsatzzwecks)
Was prüft ein gegenfaktischer Test besonders gut? (Ob eine irrelevante Merkmalsänderung die Ausgabe unangemessen verändert) (!Ob die Internetverbindung des Systems schnell genug ist) (!Ob alle Personen denselben Lebenslauf haben) (!Ob ein Modell möglichst viele Parameter besitzt)
Was gehört zu wirksamer menschlicher Aufsicht? (Menschen können Ausgaben verstehen prüfen überstimmen und den Prozess stoppen) (!Menschen bestätigen jede KI-Ausgabe automatisch) (!Menschen sehen nur die endgültige Entscheidung ohne Begründung) (!Menschen tragen keine Verantwortung sobald KI beteiligt ist)
Welche Aussage beschreibt Governance am besten? (Sie legt Rollen Regeln Kontrollen und Verantwortlichkeiten fest) (!Sie bezeichnet nur die Rechenleistung eines Modells) (!Sie ist ein anderer Begriff für Trainingsdaten) (!Sie macht Tests nach der Einführung überflüssig)
Was bedeutet Robustheit in diesem Kurs? (Das System bleibt bei kleinen irrelevanten Änderungen angemessen stabil) (!Das System gibt immer denselben Score für alle Personen) (!Das System darf keine menschliche Korrektur zulassen) (!Das System verwendet möglichst viele personenbezogene Daten)
Warum kann ein Wohnortmerkmal problematisch sein? (Es kann als Stellvertreter für sachlich irrelevante soziale Unterschiede wirken) (!Jede Entfernungsangabe ist gesetzlich immer verboten) (!Wohnorte enthalten niemals nützliche Informationen) (!Ein Wohnort garantiert automatisch eine faire Entscheidung)
Welche Reaktion folgt sinnvoll auf einen fehlgeschlagenen kritischen Test? (Ursache untersuchen Maßnahme gestalten und anschließend erneut testen) (!Den Test löschen damit die Gesamtquote steigt) (!Nur die Beschreibung des Systems freundlicher formulieren) (!Alle Grenzfälle automatisch dem Modell überlassen)
Was kennzeichnet ein nachvollziehbares Abschlussurteil? (Es verbindet Kriterien Belege Betroffene Zielkonflikte und Rest-Risiken) (!Es übernimmt die Meinung des Herstellers ohne Prüfung) (!Es nennt nur eine Prozentzahl ohne Kontext) (!Es vermeidet jede Aussage über Verantwortung)
Memory
| Testfall | Geplante Prüfung mit Erwartung und Beobachtung |
| Robustheit | Stabilität bei irrelevanten Veränderungen |
| Fairness | Prüfung auf sachlich unbegründete Benachteiligung |
| Recall | Anteil erkannter geeigneter Fälle |
| Governance | Regeln Rollen und Verantwortlichkeiten |
| Aufsicht | Wirksame menschliche Kontrollmöglichkeit |
| Transparenz | Verständliche Information über Zweck Grenzen und Rolle der KI |
| Folgenabschätzung | Systematische Prüfung möglicher Nutzen Schäden und Betroffener |
Drag and Drop
| Ordne die richtigen Begriffe zu. | Thema |
|---|---|
| Robustheitstest | Kleine irrelevante Eingabeänderung |
| Fairnesstest | Unbegründete Ungleichbehandlung |
| Sicherheitstest | Manipulation oder Fehlbedienung |
| Transparenztest | Verständliche Erklärung und Grenzen |
| Governanceprüfung | Zuständigkeiten Kontrolle und Widerspruch |
Kreuzworträtsel
| Testfall | Wie heißt eine geplante Prüfung mit klarer Eingabe und Erwartung? |
| Fairness | Welcher Begriff bezeichnet die Prüfung auf sachlich unbegründete Benachteiligung? |
| Aufsicht | Wie heißt die menschliche Kontrollmöglichkeit bei einem KI-System? |
| Robustheit | Welcher Begriff beschreibt Stabilität bei kleinen irrelevanten Änderungen? |
| Transparenz | Welcher Begriff steht für nachvollziehbare Information über Rolle und Grenzen der KI? |
| Governance | Wie heißt das System aus Regeln Rollen Kontrollen und Verantwortlichkeiten? |
LearningApps
Lückentext
Offene Aufgaben
Leicht
- Testfall-Check: Formuliere zu einer KI-Funktion aus Deinem Alltag einen Testfall mit Prüfziel, Eingabe, Erwartung und Beobachtung, ohne echte personenbezogene Daten zu verwenden.
- Kennzahlen erklären: Erkläre einer Mitschülerin oder einem Mitschüler an einem selbst erfundenen Beispiel den Unterschied zwischen Trefferquote und Recall.
- Stakeholder-Karte: Zeichne für die Morgenwerk-Fallstudie mindestens fünf Beteiligte ein und verbinde sie mit Nutzen, Risiken und Entscheidungsmacht.
- Quellencheck: Vergleiche eine Werbeaussage eines KI-Anbieters mit einer offiziellen oder wissenschaftlichen Quelle und notiere, welche Aussage tatsächlich belegt ist.
Standard
- Gegenfaktischer Test: Entwickle drei synthetische Testpaare, in denen jeweils nur ein Merkmal verändert wird, und begründe, warum dieses Merkmal die Eignungsentscheidung nicht oder nur begrenzt beeinflussen sollte.
- Risikoregister: Erstelle für die Fallstudie ein Register mit Risiko, Betroffenen, Beleg, möglicher Schutzmaßnahme und verbleibendem Rest-Risiko.
- Governance-Entwurf: Gestalte einen Ablaufplan vom Bewerbungseingang bis zur Entscheidung mit mindestens einer menschlichen Kontrolle, einem Widerspruchsweg und einer Stop-Regel.
- Argumentationsrede: Halte eine zweiminütige Rede aus der Perspektive eines Stakeholders und stütze jede zentrale Forderung auf einen Testbeleg oder eine nachvollziehbare Quelle.
Schwer
- Teststrategie: Plane eine kleine Testsuite mit mindestens acht Fällen aus den Bereichen Validität, Robustheit, Fairness, Sicherheit und Transparenz und begründe die Priorisierung.
- Metrik-Konflikt: Entwickle zwei Bewertungsszenarien, in denen dieselbe Trefferquote zu unterschiedlich problematischen Fehlerfolgen führt, und leite daraus geeignete zusätzliche Kennzahlen ab.
- Folgenabschätzung: Übertrage das Prüfschema auf ein KI-System zur Leistungsbewertung in der Schule oder zur Kreditentscheidung und identifiziere neue Stakeholder, Grundrechtsrisiken und Stopkriterien.
- Entscheidungsaudit: Schreibe ein einseitiges Audit-Memo mit den Abschnitten Zweck, wichtigste Belege, ungelöste Risiken, Auflagen, Rest-Risiko und begründete Empfehlung. Füge bewusst ein Gegenargument hinzu und beantworte es.
|
|
Lernkontrolle
- Kriterienwahl: Du sollst ein KI-System bewerten, das Notenprognosen erstellt. Wähle fünf Kriterien aus diesem Kurs, begründe ihre Reihenfolge und entwickle für jedes Kriterium einen passenden Test.
- Zielkonfliktanalyse: Eine Fairnessprüfung benötigt Gruppendaten, gleichzeitig soll Datensparsamkeit gelten. Entwickle zwei mögliche Vorgehensweisen und bewerte deren Vor- und Nachteile.
- Human-Agency-Prüfung: Ein Unternehmen erklärt, ein Mensch bestätige jede KI-Empfehlung. Zeige, warum diese Information allein keine wirksame menschliche Kontrolle beweist, und nenne zusätzliche Belege, die Du verlangen würdest.
- Transferentscheidung: Übertrage die Testlogik auf ein KI-System, das medizinische Termine priorisiert. Formuliere drei kritische Testfälle und erkläre, welche Fehlerfolgen anders sind als im Bewerbungsfall.
- Governance-Vergleich: Vergleiche zwei Organisationen: In A testet nur der Anbieter, in B gibt es unabhängige Tests, Protokolle, Beschwerdeweg und Retests. Beurteile, wie sich die Nachvollziehbarkeit von Verantwortung unterscheidet.
- Urteilsrevision: Nimm Dein 60-Sekunden-Urteil vom Kursanfang. Zeige mindestens zwei neue Belege oder Kriterien, die Dein Urteil bestätigt oder verändert haben, und formuliere Deine endgültige Entscheidung mit Rest-Risiko.
Lernnachweis
Für einen guten Lernnachweis ist wichtig, dass Du nicht nur Begriffe nennen kannst. Du solltest zeigen, dass Du:
- Testdesign: prüfbare Testfälle mit klaren Erwartungen entwickelst und synthetische Daten verantwortungsvoll nutzt.
- Mathematische Bewertung: TP, FP, FN und TN unterscheiden sowie Trefferquote, Präzision und Recall im Kontext interpretieren kannst.
- Systemdenken: Modell, Daten, Schnittstelle, Organisation, Menschen und Folgen als zusammenhängendes System analysierst.
- Belegorientierung: Aussagen auf dokumentierte Testergebnisse oder belastbare Quellen stützt und Unsicherheit kenntlich machst.
- Werteabwägung: Effizienz, Fairness, Datenschutz, Sicherheit, Transparenz, Grundrechte und menschliche Aufsicht begründet gegeneinander abwägst.
- Verantwortung: benennst, wer entscheiden, kontrollieren, korrigieren und auf Beschwerden reagieren muss.
- Transfer: das Prüfschema auf einen neuen KI-Einsatzfall überträgst und dort passende Kriterien und Testfälle entwickelst.
- Urteilskompetenz: zu einer überprüfbaren Entscheidung gelangst, die Kriterien, Belege, Gegenargumente, Schutzmaßnahmen und Rest-Risiken sichtbar macht.
OERs zum Thema
Verknüpfte Lernbereiche