Bias in KI-Ergebnissen beurteilen
Bias in KI-Ergebnissen beurteilen
Bias in KI-Ergebnissen beurteilen
Einleitung
Künstliche Intelligenz kann Texte formulieren, Bilder erzeugen, Sprache erkennen, Inhalte empfehlen oder Personen und Gegenstände klassifizieren. Solche Ergebnisse wirken oft sachlich und neutral. Trotzdem können sie bestimmte Sichtweisen, Personengruppen oder Erfahrungen häufiger darstellen als andere, wichtige Informationen auslassen oder bei verschiedenen Gruppen unterschiedlich häufig Fehler machen. Solche systematischen Verzerrungen werden häufig als algorithmischer Bias bezeichnet.
In diesem aiMOOC lernst Du nicht, jedem ungewöhnlichen KI-Ergebnis sofort das Etikett „Bias“ zu geben. Du lernst vielmehr, systematisch zu prüfen: Welche Behauptung steht im Raum? Welche Belege gibt es? Welche Vergleichsgruppen sind sinnvoll? Welche Fehler treten auf? Wer ist betroffen? Welche Vorstellung von Fairness wird verwendet? Welche technischen und gesellschaftlichen Verbesserungen wären möglich?
Zielgruppe: Schwerpunkt Klasse 7, geeignet für Informatik, Deutsch, Mathematik, Geschichte, Kunst, Ethik, Gemeinschaftskunde und Medienbildung.
Zeitbedarf: etwa 45 bis 90 Minuten. Die erste Unterrichtsstunde vermittelt Grundlagen und führt einen Bias-Check durch. Eine zweite Stunde kann für Perspektivenvergleich, Verbesserungen und ein begründetes Urteil genutzt werden.
Leitfrage: Wie kannst Du beurteilen, ob ein KI-Ergebnis problematisch verzerrt ist, ohne vorschnell zu urteilen?
Am Ende sollst Du ein Urteil nach diesem Muster formulieren können:
Urteil = Kriterium + Beleg + Betroffenenperspektive + Gegenargument + Verbesserung + verbleibende Unsicherheit.
Lernziele
Du kannst nach dem Kurs
- Bias von einem einzelnen Fehler, Zufall und einer bloßen Meinungsverschiedenheit unterscheiden.
- erklären, an welchen Stellen eines Machine-Learning-Systems Verzerrungen entstehen können.
- einfache Fehlerquoten und Gruppenvergleiche berechnen und interpretieren.
- KI-Texte, KI-Bilder, Rankings und Empfehlungen quellenkritisch untersuchen.
- Repräsentation, Fairness, Vielfalt und Teilhabe aus verschiedenen Betroffenenperspektiven beurteilen.
- technische Verbesserungen entwickeln, ohne gesellschaftliche Wertfragen als rein technische Probleme zu behandeln.
- ein nachvollziehbares Urteil mit Belegen, Kriterien und Unsicherheiten formulieren.
Aktivierung und Diagnose: Ist das schon Bias?
Arbeite zunächst zwei bis fünf Minuten ohne Nachschlagen.
- Ein Bildgenerator zeigt bei acht Versuchen zum Begriff „Führungskraft“ fast nur ähnlich dargestellte Personen. Ist das ein Hinweis, ein Beweis oder nur Zufall?
- Ein Chatbot macht einmal einen Rechenfehler. Ist das automatisch Bias?
- Ein Empfehlungssystem ist insgesamt zu 90 Prozent richtig, macht aber bei einer Teilgruppe deutlich mehr Fehler. Ist die Gesamtzahl ausreichend?
- Ein System behandelt alle nach derselben Regel. Ist es damit automatisch fair?
Notiere jeweils Ja, Nein oder Noch nicht entscheidbar und einen Grund. Vergleiche Deine Antworten nach dem Kurs erneut. Besonders wichtig ist die Antwort Noch nicht entscheidbar: Gute Bias-Analyse beginnt oft damit, erst weitere Belege zu sammeln.
Vorschlag für 1–2 Unterrichtsstunden
| Phase | Zeit | Tätigkeit | Ergebnis |
|---|---|---|---|
| Aktivierung | 5–10 Minuten | Vier Diagnosefragen und erste Vermutungen | Vorwissen und Unsicherheiten sichtbar machen |
| Technische Einführung | 10–15 Minuten | Daten, Training, Modell, Eingabe und Ausgabe untersuchen | Entstehungsorte von Bias verstehen |
| Mathematischer Bias-Check | 15 Minuten | Fehler nach Gruppen vergleichen | Gesamtgenauigkeit kritisch einordnen |
| Anwendungssituation | 15–20 Minuten | Schulfall aus mehreren Perspektiven analysieren | Belege und Folgen verbinden |
| Urteil und Verbesserung | 10–20 Minuten | FAIR-Prüfraster anwenden | begründetes Urteil und konkrete Maßnahmen |
| Transfer | 5–10 Minuten | neue Situation oder eigenes Beispiel prüfen | Methode auf andere KI-Ergebnisse übertragen |
Was bedeutet Bias bei KI?
Das englische Wort bias kann je nach Zusammenhang unterschiedliche Bedeutungen haben. In der Statistik bezeichnet es eine systematische Verzerrung. Bei KI und Fairness geht es häufig darum, ob ein System wiederholt Ergebnisse erzeugt, die bestimmte Personen, Gruppen, Lebensweisen oder Perspektiven ungerecht bevorzugen, benachteiligen oder unsichtbar machen.
Wichtig ist die Unterscheidung:
| Beobachtung | Bedeutung | Beispiel |
|---|---|---|
| Einzelner Fehler | Ein Ergebnis ist falsch, ohne dass bereits ein Muster belegt ist. | Ein System nennt einmal eine falsche Jahreszahl. |
| Zufällige Schwankung | Wiederholte Ausgaben unterscheiden sich, ohne erkennbare systematische Richtung. | Drei Bildausgaben zeigen zufällig unterschiedliche Hintergründe. |
| Systematischer Bias | Ein Muster tritt wiederholt oder strukturell auf. | Eine Teilgruppe wird bei gleichen Voraussetzungen häufiger übersehen. |
| Wertkonflikt | Menschen verwenden unterschiedliche, begründbare Vorstellungen von Fairness. | Soll jeder dieselbe Regel erhalten oder sollen unterschiedliche Ausgangslagen berücksichtigt werden? |
Merke: Ein unfair wirkendes Ergebnis ist ein Anlass zur Prüfung. Für ein belastbares Urteil brauchst Du mehr als einen Eindruck.
Wie ein lernendes KI-System vereinfacht funktioniert
Beim maschinellen Lernen wird ein Modell nicht nur durch feste Wenn-dann-Regeln programmiert. Es erkennt statistische Muster in Daten. Stark vereinfacht lässt sich der Ablauf so darstellen:
- Daten: Beispiele werden gesammelt oder erzeugt.
- Aufbereitung: Daten werden ausgewählt, beschriftet, gefiltert oder gewichtet.
- Training: Ein Lernverfahren passt Modellparameter so an, dass ein Ziel möglichst gut erreicht wird.
- Test: Das Modell wird mit getrennten Beispielen geprüft.
- Einsatz: Neue Eingaben führen zu Vorhersagen, Texten, Bildern, Rankings oder Empfehlungen.
- Rückkopplung: Reaktionen der Nutzenden können neue Daten erzeugen und spätere Systeme beeinflussen.
Bei generativen Sprachmodellen entsteht Text typischerweise Schritt für Schritt anhand gelernter Wahrscheinlichkeitsmuster. Das Modell „schlägt“ nicht einfach in einer neutralen Enzyklopädie nach. Deshalb können Trainingsmaterial, Modellziel, Systemregeln, Eingabe und Nutzungskontext das Ergebnis beeinflussen.
Das kurze Video „Kognitiver und algorithmischer Bias“ aus der Reihe „Heine und Lovelace fragen nach...“ eignet sich als deutschsprachiger Einstieg.
Wo kann Bias entstehen?
Bias ist selten nur „im Algorithmus“. KI-Systeme sind soziotechnische Systeme: Technik, Daten, Menschen, Institutionen, Regeln und gesellschaftliche Bedingungen wirken zusammen.
| Stelle | Mögliche Verzerrung | Prüffrage |
|---|---|---|
| Datensammlung | Bestimmte Gruppen oder Situationen kommen zu selten vor. | Wer ist in den Daten enthalten und wer fehlt? |
| Historische Daten | Frühere Ungleichheiten werden als normales Muster übernommen. | Zeigen die Daten, wie die Welt ist, oder wie sie fair sein sollte? |
| Beschriftung | Menschen vergeben uneinheitliche oder stereotype Labels. | Wer hat entschieden, was „gut“, „riskant“ oder „passend“ bedeutet? |
| Messung | Ein leicht messbares Merkmal ersetzt ein eigentlich gemeintes Merkmal. | Misst der Wert wirklich das, was er behauptet zu messen? |
| Modellziel | Optimiert wird nur Gesamtgenauigkeit, Klickrate oder Geschwindigkeit. | Welche Gruppenfehler bleiben hinter einem Gesamtwert verborgen? |
| Eingabe | Formulierungen oder Beispiele lenken das Modell in eine Richtung. | Würde eine anders formulierte, aber inhaltlich gleiche Eingabe zu ähnlichen Ergebnissen führen? |
| Einsatzkontext | Ein Modell wird für eine Situation genutzt, für die es nicht getestet wurde. | Passt das System überhaupt zu dieser Aufgabe? |
| Rückkopplung | Frühere Empfehlungen beeinflussen spätere Daten. | Verstärkt das System seine eigenen Entscheidungen? |
| Menschliche Nutzung | Menschen vertrauen einer KI-Ausgabe zu stark. | Gibt es eine echte menschliche Prüfung und Widerspruchsmöglichkeit? |
Die Trennung von Trainings-, Validierungs- und Testdaten hilft dabei, ein Modell realistischer zu prüfen. Sie garantiert aber noch keine Fairness: Auch ein Testdatensatz kann wichtige Gruppen zu wenig enthalten.
Repräsentation, Vielfalt und Teilhabe
Repräsentation fragt, wer in Daten und Ergebnissen vorkommt. Dabei geht es nicht nur um die Anzahl von Personen, sondern auch um Rollen, Tätigkeiten, Sprache, Perspektiven und Sichtbarkeit.
Vielfalt bedeutet nicht einfach, möglichst viele verschiedene Merkmale in einen Datensatz zu werfen. Entscheidend ist, ob die Vielfalt zur realen Nutzungssituation passt und ob wichtige Erfahrungen berücksichtigt werden.
Teilhabe geht noch weiter. Betroffene Menschen sollten nicht nur als Datenpunkte vorkommen. Sie sollten je nach Bedeutung der Entscheidung Möglichkeiten haben, Fragen zu stellen, Fehler zu melden, Entscheidungen anzufechten und an Regeln mitzuwirken.
Wichtig: Aus dem Aussehen einer Person darfst Du keine sensiblen Eigenschaften erraten. Bei Bildanalysen beschreibst Du nur sichtbare Darstellungen oder ausdrücklich angegebene Informationen und vermeidest Zuschreibungen über Herkunft, Religion, Gesundheit oder andere persönliche Eigenschaften.
Medienanalyse bei KI-Bildern und KI-Texten
Bei einem Bild kannst Du zum Beispiel untersuchen:
- Welche Rollen werden gezeigt?
- Wer steht im Mittelpunkt und wer am Rand?
- Welche Tätigkeiten, Kleidung, Räume oder Symbole werden bestimmten Personen zugeordnet?
- Welche Personengruppen oder Lebenssituationen fehlen?
- Ändert sich das Muster bei mehreren Wiederholungen?
- Entspricht das Bild einer überprüfbaren Quelle oder nur einer plausibel wirkenden Darstellung?
Bei einem Text untersuchst Du zusätzlich Sprache: Werden Gruppen mit unterschiedlichen Adjektiven beschrieben? Wird eine Perspektive als selbstverständlich dargestellt? Werden Gegenpositionen ausgelassen? Ist der Ton unterschiedlich sicher oder skeptisch? Enthält der Text Quellen, und sind diese Quellen tatsächlich auffindbar?
Ein einzelnes Beispiel reicht selten für ein starkes Urteil. Wiederhole eine Untersuchung möglichst mehrmals und dokumentiere Eingaben, Datum, Bedingungen und Ergebnisse.
Quellenkritik: Ein KI-Ergebnis ist keine Quelle
Ein KI-System kann eine hilfreiche Zusammenfassung liefern, aber die Ausgabe selbst ersetzt keine belastbare Quelle. Prüfe wichtige Aussagen an nachvollziehbaren Belegen.
| Quellenfrage | Was Du prüfst |
|---|---|
| Urheberschaft | Wer hat die Information veröffentlicht und mit welcher Fachkompetenz? |
| Zeitpunkt | Ist die Information aktuell genug für die Fragestellung? |
| Methode | Wie wurden Daten erhoben, ausgewählt oder ausgewertet? |
| Interessen | Könnte die Quelle etwas verkaufen, verteidigen oder politisch durchsetzen wollen? |
| Nachvollziehbarkeit | Sind Originaldaten, Studien oder Primärquellen auffindbar? |
| Vergleich | Bestätigen voneinander unabhängige, geeignete Quellen die Aussage? |
| Lücken | Was wird nicht gezeigt, nicht gemessen oder nicht erklärt? |
Für gute Quellenkritik gilt: Behauptung, Beleg und Schlussfolgerung getrennt notieren. Dadurch wird sichtbar, ob Du mehr behauptest, als Deine Belege tatsächlich zeigen.
Fairness mathematisch untersuchen
Bei einem Klassifikationssystem kann eine sogenannte Konfusionsmatrix helfen. Vier Fälle sind besonders wichtig:
| Begriff | Bedeutung | Schulbeispiel |
|---|---|---|
| Richtig positiv | Geeigneter Fall wird empfohlen. | Eine tatsächlich geeignete Bewerbung wird empfohlen. |
| Falsch positiv | Ungeeigneter Fall wird fälschlich empfohlen. | Eine noch nicht geeignete Bewerbung wird empfohlen. |
| Richtig negativ | Ungeeigneter Fall wird korrekt nicht empfohlen. | Eine ungeeignete Bewerbung wird nicht empfohlen. |
| Falsch negativ | Geeigneter Fall wird fälschlich übersehen. | Eine geeignete Bewerbung erhält keine Empfehlung. |
Besonders wichtig ist die Frage, welcher Fehler für Betroffene schwerer wiegt. Ein falsch negatives Ergebnis kann beispielsweise eine berechtigte Chance verhindern. Ein falsch positives Ergebnis kann dagegen einen ungeeigneten Fall bevorzugen. Welche Fehler wichtiger sind, hängt vom Einsatzgebiet ab.
Rechenbeispiel: Eine gute Gesamtzahl kann täuschen
Eine Schule testet ein System, das Bewerbungen für ein Medienprojekt vorordnet. Für die Übung gibt es zwei anonymisierte, gleich große Testgruppen. In beiden Gruppen sind jeweils 10 von 20 Bewerbungen nach einer unabhängigen menschlichen Prüfung tatsächlich geeignet.
| Testgruppe | Richtig positiv | Falsch negativ | Falsch positiv | Richtig negativ | Genauigkeit | Trefferquote bei tatsächlich Geeigneten |
|---|---|---|---|---|---|---|
| Gruppe A | 8 | 2 | 2 | 8 | 16 von 20 = 80 % | 8 von 10 = 80 % |
| Gruppe B | 5 | 5 | 1 | 9 | 14 von 20 = 70 % | 5 von 10 = 50 % |
Insgesamt sind 30 von 40 Entscheidungen korrekt. Die Gesamtgenauigkeit beträgt 75 Prozent. Diese Zahl klingt zunächst brauchbar. Trotzdem werden in Gruppe B fünf von zehn tatsächlich geeigneten Bewerbungen übersehen, in Gruppe A aber nur zwei von zehn.
Mathematische Leitfrage: Welche Zahl ist für die Fairnessprüfung wichtiger: die Gesamtgenauigkeit, die Fehlerquote jeder Gruppe, die Empfehlungsrate oder eine Kombination?
Es gibt nicht immer genau eine richtige Fairnesskennzahl. Unterschiedliche Fairnessideen können zu unterschiedlichen Bewertungen führen.
Drei Fairnessideen vergleichen
| Fairnessidee | Vereinfachte Frage | Stärke | mögliche Grenze |
|---|---|---|---|
| Gleiche Regel | Werden alle nach denselben Kriterien behandelt? | leicht verständlich | unterschiedliche Ausgangslagen können unsichtbar bleiben |
| Gleiche Chance | Haben tatsächlich geeignete Personen vergleichbare Chancen, erkannt zu werden? | macht übersehene Chancen sichtbar | erfordert verlässliche Vergleichsdaten |
| Gleiches Ergebnis | Erhalten Gruppen ähnlich häufig ein positives Ergebnis? | macht Ergebnisunterschiede sichtbar | gleiche Ergebnisquoten sind nicht in jeder Situation automatisch gerecht |
Zentrale Erkenntnis: Mathematik kann Unterschiede messen. Mathematik allein entscheidet aber nicht, welche Unterschiede gerechtfertigt sind. Diese Frage enthält gesellschaftliche Werte, Rechte, Ziele und Folgen.
Realistische Anwendungssituation: KI für ein Schulprojekt
Eine Schule plant ein freiwilliges Medienprojekt mit begrenzten Plätzen. Ein KI-System soll Bewerbungen vorsortieren. Es wurde mit alten Bewerbungen und früheren Entscheidungen trainiert. Die Schule stellt fest, dass frühere Teilnehmende oft schon viel private Technik-Erfahrung hatten und ihre Motivationsschreiben in einem sehr formellen Stil verfassten.
Das neue System nutzt weder Namen noch ausdrücklich sensible Kategorien. Es berücksichtigt aber Merkmale wie Textlänge, Wortwahl, bisherige Projektangaben und Technik-Erfahrung. Dadurch können indirekte Stellvertretermerkmale, sogenannte Proxy-Merkmale, entstehen.
Auftrag: Beurteile nicht sofort, ob das System „diskriminiert“. Sammle zuerst Belege.
- Prüfe die Fehlerzahlen aus dem Rechenbeispiel.
- Untersuche, welche Merkmale möglicherweise nur frühere Zugangschancen abbilden.
- Frage, ob die Trainingsdaten die heutige Schülerschaft angemessen repräsentieren.
- Betrachte die Perspektiven mehrerer Betroffener.
- Entwickle technische, organisatorische und pädagogische Verbesserungen.
- Formuliere abschließend ein begründetes Urteil.
Perspektiven der Betroffenen
| Perspektive | mögliche Frage |
|---|---|
| Bewerbende Person | Bekomme ich eine faire Chance und kann ich ein Ergebnis anfechten? |
| Lehrkraft | Hilft die Vorauswahl wirklich oder übernimmt sie nur frühere Gewohnheiten? |
| Entwickelnde Person | Welche Merkmale, Daten und Fehlerquoten muss ich testen und dokumentieren? |
| Schulleitung | Wer trägt Verantwortung, wenn die Auswahl unfair wirkt? |
| Eltern oder Sorgeberechtigte | Welche Daten werden verarbeitet und wie transparent ist das Verfahren? |
| Schülervertretung | Können Lernende an den Regeln für eine faire Auswahl mitwirken? |
| Person mit wenig digitaler Vorerfahrung | Wird fehlender Zugang fälschlich als fehlendes Interesse oder Können bewertet? |
| Person mit Unterstützungsbedarf | Gibt es barrierearme Wege, sich zu bewerben und eine Entscheidung überprüfen zu lassen? |
Die Perspektiven können sich widersprechen. Genau deshalb braucht Fairness eine begründete Abwägung und darf nicht einfach an eine Kennzahl delegiert werden.
Technische Verbesserungen reichen nicht allein
Technische Maßnahmen können helfen:
- Trainings- und Testdaten gezielter auf Abdeckung prüfen.
- Fehlerquoten getrennt nach sinnvollen, rechtmäßig verwendeten Vergleichsgruppen auswerten.
- problematische Proxy-Merkmale entfernen oder begründen.
- Ziele und Schwellenwerte überprüfen.
- Modelle nach Änderungen erneut testen.
- Ergebnisse regelmäßig beobachten, statt nur einmal vor dem Start zu testen.
Aber auch ein technisch verbessertes Modell beantwortet nicht automatisch:
- Wie viele Plätze soll es geben?
- Was bedeutet „Eignung“ für ein Schulprojekt?
- Soll Vorwissen belohnt oder fehlende Vorerfahrung ausgeglichen werden?
- Welche Fehler sind besonders ungerecht?
- Wer darf mitentscheiden?
- Welche Widerspruchsmöglichkeit brauchen Betroffene?
Das sind gesellschaftliche und ethische Wertfragen. Sie erfordern Beteiligung, Regeln und Verantwortung.
Transparenz und Erklärbarkeit
Auch in anderen Bereichen ist wichtig, dass Betroffene verstehen können, wofür KI eingesetzt wird, welche Grenzen sie hat und wer Verantwortung trägt. Erklärbarkeit bedeutet nicht, dass jede einzelne Modellberechnung in allen Details verstanden werden muss. Für eine faire Praxis können auch Informationen über Zweck, Daten, Fehlergrenzen, Tests, Zuständigkeiten und Beschwerdewege entscheidend sein.
Das Video „Explainable AI“ aus der Reihe „Heine und Lovelace fragen nach...“ kann zur Vertiefung genutzt werden.
Beispiel Spracherkennung
Spracherkennung zeigt anschaulich, warum Repräsentation wichtig ist. Wenn bestimmte Sprechweisen, Akzente, Altersgruppen oder Aufnahmesituationen im Trainings- und Testmaterial schlechter vertreten sind, kann die Fehlerrate ungleich verteilt sein. Für ein faires Urteil müsste man deshalb nicht nur eine durchschnittliche Erkennungsrate betrachten, sondern geeignete Teilgruppen, Aufnahmebedingungen und Nutzungssituationen vergleichen.
Medienkritische Zusatzfrage: Welche Belege liefert das Video selbst und welche Behauptungen müsstest Du zusätzlich an unabhängigen Quellen überprüfen?
Beispiel Gesichtserkennung
Das Diagramm zeigt vereinfacht einen möglichen Ablauf von Gesichtserkennung. Es ist ein gutes Beispiel dafür, dass eine technische Grafik noch kein Beleg für Fairness oder Genauigkeit ist. Frage bei solchen Abbildungen immer: Wer hat sie erstellt? Was wird vereinfacht? Welche Daten fehlen? Welche Fehlerraten werden nicht gezeigt? Für welche Gruppen wurde getestet?
Optionales Vertiefungsvideo
Das englischsprachige Video „Algorithmic Bias and Fairness“ von Crash Course vertieft Ursachen wie unausgewogene Daten, problematische Messgrößen und Rückkopplungseffekte. Nutze es nicht als alleinige Quelle, sondern als Ausgangspunkt für weitere Prüfung.
Das FAIR-Prüfraster für ein begründetes Urteil
Nutze für Text-, Bild-, Ranking- oder Empfehlungssysteme dieses Prüfraster.
| Buchstabe | Prüfschritt | Leitfragen |
|---|---|---|
| F | Frage und Folgen klären | Was soll das System tun? Wer kann profitieren oder benachteiligt werden? Wie schwer sind mögliche Folgen? |
| A | Abdeckung und Daten prüfen | Wer oder was ist in Daten und Beispielen vertreten? Wer fehlt? Sind Vergleichsgruppen sinnvoll? |
| I | Indizien und Belege sammeln | Gibt es mehrere Versuche, dokumentierte Fehlerzahlen, geeignete Quellen und Gegenbeispiele? |
| R | Rechte, Rollen und Reaktionen beachten | Wer entscheidet? Wer kann widersprechen? Welche Fairnessidee wird verwendet? Welche Verbesserung ist möglich? |
Ein starkes Urteil könnte so aufgebaut sein:
„Das System zeigt einen begründeten Hinweis auf problematischen Bias, weil die Trefferquote bei tatsächlich geeigneten Fällen in Gruppe B mit 50 Prozent deutlich niedriger ist als in Gruppe A mit 80 Prozent. Die Gesamtgenauigkeit von 75 Prozent verdeckt diesen Unterschied. Für Bewerbende aus Gruppe B kann das zu verpassten Chancen führen. Allerdings kennen wir noch nicht alle Ursachen. Vor einem Einsatz sollten Daten, Merkmale und Testverfahren überprüft, Betroffene beteiligt und eine menschliche Widerspruchsmöglichkeit eingerichtet werden.“
Dieses Urteil ist stärker als „Die KI ist unfair“, weil es Beleg, Wirkung, Unsicherheit und Verbesserung nennt.
Bias-Analyse sicher durchführen
- Nutze für Unterrichtsexperimente bevorzugt erfundene oder anonymisierte Daten.
- Gib keine vertraulichen Daten, Namen, Fotos oder persönlichen Geschichten von Mitschülerinnen und Mitschülern in öffentliche KI-Systeme ein.
- Versuche nicht, sensible persönliche Eigenschaften aus Bildern oder Texten zu erraten.
- Dokumentiere nur so viele Daten wie für die Untersuchung nötig.
- Prüfe wichtige Aussagen mit geeigneten Quellen.
- Behalte menschliche Entscheidungsmöglichkeiten: KI-Ausgaben sind Hinweise, keine Autorität.
- Wenn eine echte Entscheidung über Menschen betroffen ist, sollte eine Lehrkraft oder andere verantwortliche Person einbezogen werden.
Fächerübergreifende Bezüge
| Fach | Beitrag zum Thema |
|---|---|
| Informatik | Daten, Modelle, Training, Test, Proxy-Merkmale, Fehleranalyse und Systemgrenzen |
| Deutsch | Wortwahl, Perspektive, Argumentation, Framing, Quellenkritik und begründetes Urteil |
| Mathematik | Anteile, Prozentwerte, Stichproben, Fehlerquoten und Vergleich von Gruppen |
| Geschichte | Historische Daten als Spuren vergangener Machtverhältnisse und Ausschlüsse |
| Kunst | Bildkomposition, Rollenbilder, Sichtbarkeit, Stereotype und visuelle Repräsentation |
| Ethik | Fairness, Verantwortung, Würde, Autonomie und konkurrierende Wertvorstellungen |
| Gemeinschaftskunde | Teilhabe, Regeln, Interessen, demokratische Beteiligung und Beschwerdemöglichkeiten |
| Medienbildung | Quellenprüfung, Plattformlogik, Transparenz, Datenkompetenz und verantwortlicher KI-Einsatz |
Interaktive Aufgaben
Quiz: Teste Dein Wissen
Ein KI-System ist insgesamt zu 90 Prozent richtig, übersieht aber in einer Teilgruppe deutlich mehr geeignete Fälle. Was ist die beste nächste Prüfung? (Die Fehlerquoten der Teilgruppen vergleichen und nach Ursachen suchen) (!Die Gesamtgenauigkeit allein als ausreichend bewerten) (!Die kleinere Gruppe aus der Untersuchung entfernen) (!Alle Unterschiede automatisch als absichtliche Diskriminierung bezeichnen)
Du vermutest einen Darstellungsbias bei einem Bildgenerator. Welcher Beleg ist am stärksten? (Mehrere vergleichbare Eingaben wiederholen, Ergebnisse dokumentieren und Muster prüfen) (!Ein einzelnes überraschendes Bild als endgültigen Beweis verwenden) (!Nur die eigene Erinnerung an frühere Bilder nutzen) (!Das System nach seiner eigenen Fairness fragen und die Antwort ungeprüft übernehmen)
Warum können historische Trainingsdaten problematisch sein? (Sie können frühere Ungleichheiten als scheinbar normales Muster enthalten) (!Sie enthalten grundsätzlich keine menschlichen Entscheidungen) (!Sie machen ein Modell automatisch transparent) (!Sie verhindern jede Form von Zufall)
Was zeigt ein falsch negatives Ergebnis im Schulbeispiel? (Eine tatsächlich geeignete Bewerbung wird nicht empfohlen) (!Eine ungeeignete Bewerbung wird empfohlen) (!Eine geeignete Bewerbung wird empfohlen) (!Eine ungeeignete Bewerbung wird nicht empfohlen)
Welche Aussage zur Fairness ist am besten begründet? (Fairness braucht messbare Belege und eine begründete gesellschaftliche Wertentscheidung) (!Fairness lässt sich immer durch genau eine mathematische Formel bestimmen) (!Fairness bedeutet in jedem Fall gleiche Ergebnisquoten) (!Fairness ist nur eine Frage der Programmiergeschwindigkeit)
Was ist ein Proxy-Merkmal? (Ein Merkmal, das indirekt als Stellvertreter für eine andere Eigenschaft wirken kann) (!Ein garantiert neutrales Merkmal) (!Eine zufällige Zahl ohne Zusammenhang mit Daten) (!Eine Quelle, die automatisch überprüft wurde)
Eine KI nennt eine Studie als Quelle. Wie solltest Du vorgehen? (Prüfen, ob die Studie existiert und ob sie die Behauptung tatsächlich stützt) (!Die Quellenangabe wegen ihrer Fachsprache sofort glauben) (!Nur prüfen, ob der Titel plausibel klingt) (!Die Quelle nicht öffnen, weil KI-Systeme keine falschen Belege nennen können)
Was stärkt Human Agency bei einer KI-gestützten Schulentscheidung? (Eine nachvollziehbare menschliche Prüfung und eine Widerspruchsmöglichkeit) (!Eine vollständig automatische Entscheidung ohne Rückfrage) (!Ein geheimer Schwellenwert ohne Erklärung) (!Ein Verbot, Ergebnisse zu hinterfragen)
Welche Verbesserung verbindet Technik und Teilhabe am besten? (Fehlerquoten prüfen und betroffene Lernende an der Gestaltung der Regeln beteiligen) (!Nur ein größeres Modell einsetzen) (!Nur mehr Daten sammeln, unabhängig von ihrer Qualität) (!Alle Entscheidungen an die KI übertragen)
Was gehört zu einem besonders guten Schlussurteil über möglichen KI-Bias? (Kriterium, Beleg, Betroffenenperspektive, Gegenargument, Verbesserung und Unsicherheit) (!Nur eine starke persönliche Meinung) (!Nur der Name des verwendeten KI-Systems) (!Nur eine Prozentzahl ohne Erklärung)
Memory
| Trainingsdaten | Lernmaterial für das Modell |
| Proxy-Merkmal | indirekter Stellvertreter |
| False Negative | fälschlich übersehener positiver Fall |
| Fairness | begründete Vorstellung gerechter Behandlung |
| Repräsentation | Sichtbarkeit in Daten und Ergebnissen |
| Human Agency | menschlicher Entscheidungsspielraum |
Drag and Drop
| Ordne die richtigen Begriffe zu. | Thema |
|---|---|
| Repräsentationsbias | unterrepräsentierte Perspektiven |
| Messbias | ungeeignete Ersatzgröße |
| Automationsbias | unkritisches Vertrauen in Technik |
| Transparenz | nachvollziehbare Systeminformationen |
| Widerspruchsmöglichkeit | überprüfbare menschliche Korrektur |
Kreuzworträtsel
| Datensatz | Wie heißt eine geordnete Sammlung von Beispielen, mit der ein Modell trainiert oder getestet werden kann? |
| Fairness | Welcher Begriff bezeichnet eine begründete Vorstellung gerechter Behandlung? |
| Transparenz | Wie heißt die Nachvollziehbarkeit von Zweck, Verfahren und Grenzen eines Systems? |
| Teilhabe | Wie heißt die Möglichkeit, an gesellschaftlichen oder schulischen Prozessen mitzuwirken? |
| Stichprobe | Wie heißt eine ausgewählte Teilmenge, die stellvertretend untersucht wird? |
| Perspektive | Wie heißt ein bestimmter Blickwinkel auf eine Situation? |
LearningApps
Lückentext
Selbstkontrolle: FAIR in vier Schritten
Nimm ein beliebiges KI-Ergebnis aus einem ungefährlichen, schulischen Beispiel und beantworte schriftlich:
- Frage und Folgen: Welche Aufgabe hatte das System und wer könnte von einem Fehler betroffen sein?
- Abdeckung: Welche Perspektiven, Daten oder Gruppen müssten für eine faire Prüfung vorkommen?
- Indizien: Welche zwei oder mehr Belege würdest Du sammeln?
- Rechte und Reaktion: Wer sollte mitentscheiden und welche Verbesserung wäre sinnvoll?
Wenn Du bei einem Punkt nur vermuten kannst, schreibe ausdrücklich „noch unklar“. Unsicherheit sichtbar zu machen ist Teil eines guten Urteils.
Offene Aufgaben
Leicht
- Bias-Tagebuch: Sammle drei erfundene oder öffentlich zugängliche KI-Beispiele und trenne jeweils Beobachtung, Vermutung und Beleg.
- Quellenampel: Vergleiche drei Quellen zu einer KI-Behauptung. Begründe, welche Quelle Du am stärksten und welche Du am schwächsten findest.
- Bildanalyse: Untersuche zwei bis vier KI-Bilder zum selben neutralen Berufsprompt. Beschreibe sichtbare Rollen, Bildaufbau und wiederkehrende Muster, ohne sensible Eigenschaften von Personen zu erraten.
- Fehlerquote: Berechne aus dem Schulbeispiel die Genauigkeit beider Gruppen und erkläre in eigenen Worten, warum die Gesamtgenauigkeit eine wichtige Information verdeckt.
Standard
- Mini-Audit: Verwende mit Erlaubnis der Lehrkraft einen schulgeeigneten KI-Dienst und stelle denselben neutralen Prompt mindestens achtmal. Dokumentiere nur nicht-personenbezogene Ergebnisse und untersuche wiederkehrende Muster.
- Perspektivenrat: Übernehmt Rollen aus der Anwendungssituation und verhandelt drei Regeln für einen fairen Einsatz des Systems.
- Promptvergleich: Formuliere zwei inhaltlich gleichwertige, aber sprachlich unterschiedliche Prompts. Vergleiche die Ergebnisse und prüfe, ob Formulierungen systematisch Einfluss nehmen.
- Verbesserungsplan: Entwickle für das Schulbeispiel je eine technische, organisatorische und pädagogische Maßnahme. Begründe, welches Risiko jede Maßnahme verringern soll.
Schwer
- Fairnessvergleich: Vergleiche „gleiche Regel“, „gleiche Chance“ und „gleiches Ergebnis“ für die Schulbewerbung. Entscheide begründet, welches Kriterium dort am wichtigsten sein sollte.
- Historische Daten: Wähle ein historisches Beispiel, in dem Gruppen früher ungleichen Zugang zu Bildung, Beruf oder Medien hatten. Erkläre, wie solche Verhältnisse in heutigen Datensätzen fortwirken könnten, ohne daraus automatisch eine heutige Ursache zu behaupten.
- Schulregel für KI: Entwirf eine kurze Regelung für eine KI-gestützte Entscheidung an einer Schule. Sie muss Transparenz, Datenschutz, menschliche Prüfung, Widerspruch und regelmäßige Fairnesskontrolle enthalten.
- Argumentationsposter: Erstelle ein Poster mit der These „Fairness in KI ist technisch messbar, aber nicht rein technisch lösbar“. Nutze mindestens zwei Belege, ein Gegenargument, mehrere Betroffenenperspektiven und eine eigene Schlussfolgerung.
|
|
Lernkontrolle
- Transferfall Übersetzung: Ein Übersetzungssystem funktioniert in Standardsprache gut, bei regionalen Sprachvarianten aber deutlich schlechter. Entwickle einen Testplan, mit dem Du prüfen könntest, ob ein systematisches Problem vorliegt.
- Transferfall Empfehlung: Eine Lernplattform empfiehlt manchen Schülerinnen und Schülern fast nur einfache Aufgaben. Analysiere, wie daraus eine Rückkopplungsschleife entstehen könnte und schlage zwei Gegenmaßnahmen vor.
- Fairnesskonflikt: Zwei Gruppen erhalten gleich häufig eine Empfehlung, aber eine Gruppe hat eine deutlich höhere Rate falsch negativer Ergebnisse. Erkläre, warum zwei Fairnesskennzahlen zu unterschiedlichen Urteilen führen können.
- Quellenprüfung: Eine KI behauptet, eine Studie beweise, dass ein bestimmtes System „vollständig frei von Bias“ sei. Beschreibe mindestens fünf Prüfschritte, bevor Du diese Aussage übernimmst.
- Betroffenenperspektiven: Beurteile die Einführung eines KI-Systems zur Platzvergabe aus Sicht einer lernenden Person, einer Lehrkraft, der Schulleitung und der Schülervertretung. Zeige einen Interessenkonflikt.
- Begründetes Urteil: Formuliere zu einem neuen KI-Beispiel ein Urteil mit Kriterium, mindestens einem quantitativen oder dokumentierten Beleg, Betroffenenperspektive, Gegenargument, Verbesserung und verbleibender Unsicherheit.
Lernnachweis
Für einen guten Lernnachweis zu diesem Thema ist wichtig, dass Du
- den Unterschied zwischen Einzelproblem, Zufall und systematischem Bias erklären kannst.
- mindestens vier mögliche Entstehungsorte von Bias in einem KI-System nachvollziehbar beschreibst.
- einfache Prozent- und Fehlerquoten korrekt berechnest und nicht nur eine Gesamtzahl betrachtest.
- Behauptungen, Belege und Schlussfolgerungen voneinander trennst.
- mehrere Ausgaben oder Datenpunkte vergleichst, statt aus einem Einzelbeispiel zu verallgemeinern.
- Quellen nach Urheberschaft, Methode, Aktualität, Interessen und Nachvollziehbarkeit prüfst.
- Repräsentation, Vielfalt, Fairness und Teilhabe aus mehreren Perspektiven beurteilst.
- technische und nicht-technische Verbesserungen unterscheidest und sinnvoll verbindest.
- erklärst, warum die Wahl eines Fairnesskriteriums auch eine gesellschaftliche Wertentscheidung ist.
- ein abschließendes Urteil mit Kriterien, Belegen, Gegenargumenten und Unsicherheiten formulierst.
OERs zum Thema
Hinweise zu freien Medien
Die in diesem Kurs eingebundenen Wikimedia-Commons-Dateien führen jeweils zu einer Dateiseite mit Urheberangaben und Lizenzinformationen. Wenn Du Medien außerhalb des Wikis weiterverwendest oder bearbeitest, prüfe dort die konkrete Lizenz und die erforderliche Namensnennung. Bei Videos und anderen externen Materialien solltest Du zusätzlich prüfen, ob eine offene Lizenz vorliegt oder nur das Anschauen und Einbetten erlaubt ist.
Verknüpfte Lernbereiche
aiMOOC-Projekte
MOOCwiki · Deutsch
Nach dem Lernen ist vor dem Lernen
Entdecke direkt den nächsten Lernkurs. Weitere Inhalte erscheinen, wenn Du weiter nach unten scrollst.
Zur MOOCwiki-HauptseiteMediathek wird aus dem Wiki geladen ...
Keine passenden Inhalte gefunden. Bitte ändere Suche oder Filter.