Qualitätsmetriken für KI verstehen
Qualitätsmetriken für KI verstehen
Qualitätsmetriken für KI verstehen
Einleitung
Künstliche Intelligenz kann Texte sortieren, Bilder erkennen, Empfehlungen geben oder Antworten formulieren. Aber wann ist ein KI-System eigentlich gut? Eine hohe Trefferquote allein reicht nicht. Ein System kann im Durchschnitt überzeugend wirken und trotzdem gerade in wichtigen Grenzfällen versagen, bestimmte Gruppen schlechter behandeln, zu selbstsicher sein oder Fehler erzeugen, die besonders schwere Folgen haben.
In diesem aiMOOC lernst Du deshalb, Qualität messbar und begründbar zu beurteilen. Du unterscheidest quantitative Kennzahlen wie Accuracy, Precision, Recall und F1-Maß von qualitativen Kriterien wie Fairness, Robustheit, Transparenz, Sicherheit und Nachvollziehbarkeit. Du lernst außerdem, warum die passende Metrik vom Einsatzzweck und von den Folgen möglicher Fehler abhängt.
Der Kurs ist für die Klasse 9 ausgelegt und verbindet Informatik, Mathematik, Deutsch, Technik, Wirtschaft, Geschichte, Ethik und Gemeinschaftskunde. Für eine Unterrichtsstunde kannst Du die Kernteile bearbeiten; für zwei Unterrichtsstunden kommen Fairnessanalyse, Anwendungssituation und Transfer hinzu.
Lernziele
Nach diesem Kurs kannst Du erklären, warum es für KI nicht nur eine einzige Qualitätszahl gibt. Du kannst eine Konfusionsmatrix lesen, zentrale Kennzahlen berechnen und ihre Aussagekraft kritisch einordnen. Du erkennst normale Fälle, Grenzfälle und Fehlerszenarien. Außerdem kannst Du ein KI-System anhand technischer und gesellschaftlicher Kriterien vergleichen, Risiken abwägen und konkrete Verbesserungen vorschlagen.
Besonders wichtig ist: Die Metrik entscheidet nicht für Dich. Menschen müssen vorab klären, welches Ziel wichtig ist, welche Fehler besonders schwer wiegen, welche Daten repräsentativ sind und wer von einem System betroffen ist.
Zeitplan für 1–2 Unterrichtsstunden
| Phase | Zeit | Ziel |
|---|---|---|
| Aktivierung und Diagnose | 5–10 Minuten | Vorwissen sichtbar machen und die Falle einer einzigen Kennzahl erkennen |
| Einführung und Konfusionsmatrix | 15–20 Minuten | Fehlerarten und Grundmetriken verstehen |
| Anwendung und Vergleich | 15–25 Minuten | Kennzahlen berechnen, Folgen abwägen und Modelle vergleichen |
| Fairness, Grenzfälle und qualitative Kriterien | 15–20 Minuten | Systemqualität breiter beurteilen |
| Reflexion, Selbstkontrolle und Transfer | 10–15 Minuten | Entscheidungen begründen und auf neue Beispiele übertragen |
Für eine Kurzversion von etwa 45 Minuten konzentrierst Du Dich auf Aktivierung, Konfusionsmatrix, Accuracy, Precision, Recall und die Anwendungssituation. In einer Doppelstunde vertiefst Du zusätzlich Fairness, Robustheit, Kalibrierung und Transfer.
Aktivierung und Diagnose
Stell Dir vor, in einem schulischen Online-Forum sind von 1.000 Beiträgen nur 10 wirklich beleidigend. Eine sehr einfache Software markiert keinen einzigen Beitrag als beleidigend. Sie liegt dadurch bei 990 von 1.000 Beiträgen richtig. Das entspricht 99 Prozent Accuracy.
Ist das System deshalb gut?
Die entscheidende Beobachtung lautet: Nein, nicht unbedingt. Das System übersieht alle 10 problematischen Beiträge. Für die Klasse „beleidigend“ hat es einen Recall von 0 Prozent. Dieses Beispiel zeigt das Problem einer unausgeglichenen Klassenverteilung: Wenn ein Ereignis selten ist, kann eine hohe Gesamt-Trefferquote täuschen.
Diagnosefrage für Dich: Welche Information möchtest Du zusätzlich zur Accuracy kennen, bevor Du ein solches System beurteilst? Notiere mindestens zwei Punkte, zum Beispiel die Zahl übersehener problematischer Beiträge, die Zahl fälschlich gesperrter Beiträge oder die Folgen eines Fehlers.
Was bedeutet Qualität bei KI?
Eine Qualitätsmetrik ist ein vereinbartes Maß, mit dem ein bestimmter Aspekt eines Systems bewertet wird. Bei KI kann sich Qualität auf sehr verschiedene Ebenen beziehen: auf die Richtigkeit einzelner Vorhersagen, auf die Zuverlässigkeit über viele Fälle hinweg, auf das Verhalten in Grenzfällen, auf faire Ergebnisse für unterschiedliche Gruppen oder auf die Frage, ob Menschen Fehler erkennen und korrigieren können.
Die Grafik zeigt einen typischen Ablauf aus Daten, Training, Modell und Anwendung. Qualitätsprobleme können an jeder Stelle entstehen: ungeeignete Daten, ein unpassendes Lernziel, eine schlechte Testmenge, ein zu niedriger oder zu hoher Schwellenwert oder ein Einsatz in einer Situation, für die das System gar nicht geprüft wurde.
Deshalb solltest Du bei jeder KI-Bewertung zuerst fünf Fragen stellen:
- Zieldefinition: Welche Aufgabe soll das System wirklich lösen?
- Testdaten: Sind die Testfälle repräsentativ für den späteren Einsatz?
- Fehlerfolgen: Welche Fehler sind harmlos, welche schwerwiegend?
- Betroffene Personen: Funktioniert das System für relevante Gruppen ähnlich gut?
- Verantwortung: Wer kontrolliert das Ergebnis und kann eingreifen?
Quantitative und qualitative Kriterien
Quantitative Kriterien liefern Zahlen. Beispiele sind Accuracy, Precision, Recall, F1-Maß, Fehlerraten, Bearbeitungszeit oder Energieverbrauch. Sie ermöglichen Vergleiche, aber nur dann, wenn Testbedingungen und Datensätze vergleichbar sind.
Qualitative Kriterien bewerten Eigenschaften, die sich nicht sinnvoll in einer einzigen Zahl ausdrücken lassen. Dazu gehören Verständlichkeit, Transparenz, Datenschutz, Sicherheit, Fairness, Möglichkeit zur menschlichen Korrektur und Eignung für den konkreten Zweck.
Eine gute Evaluation verbindet beide Perspektiven. Ein System mit hervorragenden Kennzahlen kann trotzdem ungeeignet sein, wenn es in wichtigen Grenzfällen versagt oder seine Nutzung unverhältnismäßige Risiken erzeugt.
Konfusionsmatrix: Fehler sichtbar machen
Bei einer binären Klassifikation gibt es zwei mögliche Klassen, zum Beispiel „problematisch“ und „unproblematisch“. Die Vorhersage des Systems wird mit der tatsächlichen Klasse verglichen. Daraus entstehen vier Fälle:
| Tatsächlicher Zustand | Vorhersage positiv | Vorhersage negativ |
|---|---|---|
| Positiv | True Positive TP: richtig erkannt | False Negative FN: übersehen |
| Negativ | False Positive FP: fälschlich markiert | True Negative TN: richtig nicht markiert |
Die Konfusionsmatrix ist wichtig, weil sie nicht nur zeigt, wie viele Fehler passieren, sondern welche Art von Fehlern. In vielen realen Situationen sind False Positives und False Negatives nicht gleich problematisch.
Accuracy
Die Accuracy oder Korrektklassifikationsrate beantwortet: Wie groß ist der Anteil aller richtigen Vorhersagen?
Accuracy = (TP + TN) / (TP + TN + FP + FN)
Accuracy ist leicht verständlich, kann aber bei stark ungleichen Klassen irreführend sein. Das Beispiel mit 990 unproblematischen und 10 problematischen Beiträgen zeigt genau diese Schwäche.
Precision
Die Precision oder Präzision beantwortet: Wenn das System „positiv“ sagt, wie oft stimmt das?
Precision = TP / (TP + FP)
Eine hohe Precision ist besonders wichtig, wenn False Positives teuer oder unfair sind. Bei einem Moderationssystem bedeutet ein False Positive zum Beispiel, dass ein unproblematischer Beitrag zu Unrecht verborgen wird.
Recall
Der Recall oder die Trefferquote beantwortet: Von allen tatsächlich positiven Fällen – wie viele findet das System?
Recall = TP / (TP + FN)
Ein hoher Recall ist besonders wichtig, wenn übersehene positive Fälle schwerwiegende Folgen haben. Dann soll das System möglichst wenige False Negatives erzeugen.
Die beiden Abbildungen veranschaulichen, dass Precision und Recall unterschiedliche Fragen stellen. Sie können sich beim Verändern eines Entscheidungsschwellenwerts gegeneinander verschieben. Ein niedriger Schwellenwert findet oft mehr positive Fälle und erhöht damit den Recall, kann aber gleichzeitig mehr False Positives verursachen.
F1-Maß
Das F1-Maß kombiniert Precision und Recall durch ihr harmonisches Mittel:
F1 = 2 · Precision · Recall / (Precision + Recall)
Der Wert liegt zwischen 0 und 1. Ein hoher Wert entsteht nur, wenn sowohl Precision als auch Recall hoch sind. Trotzdem löst auch das F1-Maß nicht jede Bewertungsfrage: Es berücksichtigt zum Beispiel nicht automatisch gesellschaftliche Schäden, Datenschutz oder Unterschiede zwischen Gruppen.
Rechenbeispiel: Zwei Systeme vergleichen
Ein KI-System soll Beiträge in einem schulischen Forum als „problematisch“ oder „unproblematisch“ vorsortieren. Die endgültige Entscheidung trifft weiterhin ein Mensch.
System A wird an 100 bereits geprüften Beiträgen getestet:
| Kennzahl | Wert | Rechnung |
|---|---|---|
| True Positives | 36 | problematische Beiträge richtig erkannt |
| False Positives | 9 | unproblematische Beiträge fälschlich markiert |
| False Negatives | 4 | problematische Beiträge übersehen |
| True Negatives | 51 | unproblematische Beiträge richtig nicht markiert |
| Accuracy | 87 % | 87 / 100 |
| Precision | 80 % | 36 / 45 |
| Recall | 90 % | 36 / 40 |
| F1-Maß | etwa 84,7 % | harmonisches Mittel aus 80 % und 90 % |
System B findet mehr problematische Beiträge, markiert aber auch mehr unproblematische Beiträge:
| Kennzahl | System B |
|---|---|
| True Positives | 38 |
| False Positives | 17 |
| False Negatives | 2 |
| True Negatives | 43 |
| Accuracy | 81 % |
| Precision | etwa 69,1 % |
| Recall | 95 % |
| F1-Maß | 80 % |
Welches System ist besser? Die Antwort hängt vom Ziel ab. Wenn übersehene problematische Beiträge besonders gefährlich sind, kann der höhere Recall von System B wichtig sein. Wenn fälschlich markierte Beiträge die freie Kommunikation stark beeinträchtigen, spricht die höhere Precision von System A für dieses System. Eine verantwortliche Entscheidung macht die Abwägung sichtbar, statt nur die größte Zahl auszuwählen.
Schwellenwerte und Zielkonflikte
Viele KI-Systeme geben zunächst einen Score oder eine Wahrscheinlichkeit aus. Erst ein Schwellenwert entscheidet, ab wann ein Fall als positiv gilt. Wird der Schwellenwert verändert, verändern sich True Positives, False Positives, False Negatives und damit auch die Qualitätsmetriken.
Eine ROC-Kurve zeigt für viele Schwellenwerte, wie sich Trefferquote und Falsch-Positiv-Rate zueinander verhalten. Für Klasse 9 reicht als Grundidee: Nicht nur das Modell, auch der gewählte Schwellenwert bestimmt das Verhalten des Systems.
Eine wichtige Fehlvorstellung wäre: „Das System hat einen festen Qualitätswert.“ Tatsächlich hängt die Bewertung auch vom Datensatz, vom Schwellenwert, vom Einsatzzweck und von der Verteilung der Fälle ab.
Kalibrierung: Wie glaubwürdig ist eine Wahrscheinlichkeit?
Manche KI-Systeme geben Wahrscheinlichkeiten aus, etwa „80 Prozent sicher“. Ein gut kalibriertes System sollte bei vielen Fällen mit einer vorhergesagten Wahrscheinlichkeit von etwa 80 Prozent ungefähr in 80 Prozent dieser Fälle richtig liegen.
Kalibrierung ist etwas anderes als Accuracy. Ein System kann viele Fälle richtig klassifizieren, seine Sicherheit aber schlecht einschätzen. Für Menschen ist das wichtig: Ein System, das unsicher ist, sollte nicht so auftreten, als wäre sein Ergebnis sicher.
Die Grafik stammt aus einer Untersuchung des früheren Wikipedia-Systems ORES. Sie zeigt, dass man Vorhersagen auch danach prüfen kann, ob sie für unterschiedliche Nutzergruppen ähnlich gut kalibriert sind. Genau solche Gruppenvergleiche helfen dabei, systematische Unterschiede zu entdecken.
Fairness: Gute Durchschnittswerte reichen nicht
Ein KI-System kann insgesamt gute Werte erzielen und trotzdem bestimmte Gruppen deutlich schlechter behandeln. Deshalb werden Qualitätsmetriken häufig zusätzlich für sinnvolle Teilgruppen berechnet.
Bei einem Sprachsystem könnten zum Beispiel formelle Standardsprache, Jugendsprache und kurze umgangssprachliche Sätze getrennt betrachtet werden. Wenn ein Moderationssystem bei einer Sprachform deutlich mehr harmlose Beiträge fälschlich sperrt, wäre die Gesamt-Precision allein nicht ausreichend.
Fairness ist nicht einfach eine einzelne Zahl. Unterschiedliche Fairnessziele können miteinander in Konflikt geraten. Deshalb muss offengelegt werden, welche Gruppen betrachtet wurden, welches Fairnesskriterium gilt und welche Nachteile noch bestehen.
Beispiel für eine Gruppenanalyse
Ein System wird für zwei Sprachstile getestet:
| Sprachstil | Precision | Recall | Beobachtung |
|---|---|---|---|
| Formelle Standardsprache | 90 % | 95 % | wenige Fehlmarkierungen und wenige übersehene Fälle |
| Umgangs- und Jugendsprache | 70 % | 80 % | deutlich mehr Fehlmarkierungen und mehr übersehene Fälle |
Die Gesamtleistung kann trotzdem gut aussehen. Die Gruppenanalyse zeigt jedoch ein Qualitätsproblem. Eine mögliche Verbesserung wäre, die Testdaten für Umgangs- und Jugendsprache zu erweitern, Beispiele gezielt von Menschen prüfen zu lassen und das System erneut mit denselben Kriterien zu testen.
Wichtig ist dabei: Menschen und Sprachgruppen dürfen nicht einfach auf stereotype Merkmale reduziert werden. Gruppenanalysen sollen Benachteiligungen sichtbar machen, nicht neue Schubladen erzeugen.
Robustheit, Grenzfälle und Fehlerszenarien
Robustheit bedeutet, dass ein System auch bei kleinen Veränderungen oder ungewöhnlichen, aber realistischen Eingaben zuverlässig bleibt.
Normale Fälle sind Eingaben, die den typischen Trainings- und Testdaten ähneln. Grenzfälle liegen am Rand dessen, was das System kennt. Fehlerszenarien prüfen gezielt, was passiert, wenn etwas schiefgeht.
| Falltyp | Beispiel für ein Textsystem | Prüffrage |
|---|---|---|
| Normalfall | klar formulierter Standardsatz | Liefert das System ein korrektes und relevantes Ergebnis? |
| Grenzfall | Ironie, Mehrdeutigkeit oder ungewöhnliche Abkürzung | Erkennt das System Unsicherheit oder interpretiert es vorschnell? |
| Datenlücke | Thema, das in den Testdaten kaum vorkommt | Sinkt die Qualität sichtbar? |
| Störfall | Tippfehler oder vertauschte Wortreihenfolge | Bleibt die Antwort stabil? |
| Missbrauchsfall | absichtlich irreführende Eingabe | Gibt es Schutzmechanismen und menschliche Kontrolle? |
Gute Tests enthalten bewusst solche Fälle. Wenn nur einfache Beispiele geprüft werden, entsteht ein zu positives Bild.
Qualität generativer KI beurteilen
Bei generativer KI gibt es oft nicht nur eine einzige richtige Antwort. Deshalb reichen Kennzahlen wie Accuracy häufig nicht aus. Eine sinnvolle Bewertungsrubrik kann mehrere Kriterien enthalten.
| Kriterium | 0 Punkte | 1 Punkt | 2 Punkte |
|---|---|---|---|
| Faktentreue | mehrere unbelegte oder falsche Aussagen | überwiegend richtig, aber einzelne Unsicherheiten | Aussagen sind korrekt oder Unsicherheit wird klar markiert |
| Relevanz | Antwort verfehlt die Aufgabe | teilweise passend | direkt auf die Aufgabe bezogen |
| Vollständigkeit | zentrale Aspekte fehlen | wichtige Aspekte vorhanden | wesentliche Aspekte angemessen abgedeckt |
| Quellenkritik | Quellen fehlen oder werden erfunden | Quellen vorhanden, aber wenig geprüft | Quellen sind nachvollziehbar und kritisch eingeordnet |
| Transparenz | Unsicherheit wird verschleiert | teilweise kenntlich | Grenzen und Unsicherheiten werden klar benannt |
| Sicherheit und Verantwortung | riskante Empfehlung ohne Warnung | Risiken nur teilweise berücksichtigt | Risiken, Grenzen und menschliche Verantwortung werden berücksichtigt |
Eine solche Rubrik ist kein Naturgesetz. Sie muss zur Aufgabe passen. Für einen kreativen Text wäre „eine einzige richtige Antwort“ unsinnig, während bei einer Zusammenfassung eines historischen Quellentextes Faktentreue und Quellenbezug besonders wichtig sind.
Fächerübergreifende Perspektiven
Informatik
In Informatik geht es um Daten, Modelle, Testmengen, Schwellenwerte, Konfusionsmatrizen und reproduzierbare Evaluation. Wichtig ist die Trennung von Trainingsdaten und Testdaten. Werden Testdaten schon beim Training genutzt, kann die gemessene Leistung zu gut erscheinen. Dieses Problem heißt Data Leakage.
Mathematik
In Mathematik nutzt Du Brüche, Prozentrechnung und Mittelwerte. Gleichzeitig lernst Du, dass eine mathematisch korrekte Zahl trotzdem falsch interpretiert werden kann. Besonders wichtig sind Bezugsgrößen: 90 Prozent wovon?
Deutsch
In Deutsch prüfst Du die sprachliche Qualität von KI-Ausgaben: Verständlichkeit, Argumentationsstruktur, Quellenbezug, Mehrdeutigkeit und sprachliche Angemessenheit. Bei automatischer Textbewertung ist außerdem wichtig, verschiedene Sprachstile zu testen und nicht bloß Standardformulierungen zu belohnen.
Technik
In Technik betrachtest Du KI als Teil eines Gesamtsystems. Sensorfehler, schlechte Datenübertragung, Hardwaregrenzen oder fehlende Notfallmechanismen können die reale Qualität verschlechtern, selbst wenn das Modell im Labor gut abschneidet.
Wirtschaft
In Wirtschaft werden Qualität, Kosten und Nutzen gegeneinander abgewogen. Ein System kann schneller oder billiger sein, aber höhere Fehlerkosten erzeugen. Auch Wartung, Nachkontrolle, Haftungsrisiken und Energieverbrauch gehören zur Bewertung.
Geschichte
In Geschichte lernst Du, dass Messverfahren und technische Systeme immer in einen gesellschaftlichen Kontext eingebettet sind. Historische Daten können frühere Ungleichheiten enthalten. Werden sie unkritisch als Trainingsdaten verwendet, können alte Muster in neue Systeme übernommen werden.
Ethik
In Ethik fragst Du, welche Fehler moralisch besonders schwer wiegen, welche Rechte Betroffene haben und wann eine Entscheidung nicht allein automatisiert werden sollte. Werte wie Fairness, Selbstbestimmung, Schutz vor Schaden und Verantwortung lassen sich nicht vollständig auf eine Kennzahl reduzieren.
Gemeinschaftskunde
In Gemeinschaftskunde untersuchst Du Macht und Verantwortung: Wer legt Ziele fest? Wer darf Entscheidungen anfechten? Wer trägt Folgen eines Fehlers? Transparente Kriterien und Beschwerdemöglichkeiten sind zentrale Bestandteile verantwortlicher automatisierter Systeme.
Realistische Anwendungssituation: KI im Schulforum
Eine Schule möchte ein KI-System einsetzen, das Beiträge in einem Online-Forum vorsortiert. Das System darf keine endgültigen Sanktionen verhängen. Es soll Moderatorinnen und Moderatoren Hinweise geben.
Dein Evaluationsteam erhält zwei Systeme und einen Testdatensatz. Eure Aufgabe ist nicht, „die beste KI“ allgemein zu finden, sondern zu entscheiden, welches System für diesen Zweck geeigneter ist und welche Bedingungen vor einem Einsatz erfüllt sein müssen.
Schritt 1: Qualitätsziel festlegen
Formuliere vor der Auswertung drei Ziele. Beispiel: problematische Beiträge möglichst selten übersehen, harmlose Beiträge nicht unnötig markieren und unterschiedliche Sprachstile ähnlich zuverlässig behandeln.
Schritt 2: Metriken auswählen
Wähle mindestens Accuracy, Precision und Recall. Ergänze ein qualitatives Kriterium wie Transparenz, Fairness oder Möglichkeit zur menschlichen Korrektur. Begründe, warum jedes Kriterium zum Einsatzzweck passt.
Schritt 3: Normalfälle und Grenzfälle testen
Erstelle je drei normale und drei schwierige Testbeispiele. Schwierige Fälle können Ironie, mehrdeutige Formulierungen, Tippfehler oder Jugendsprache enthalten. Verwende keine echten personenbezogenen Daten.
Schritt 4: Ergebnisse dokumentieren
| Testfall | Erwartung | Systemausgabe | Richtig oder falsch | Fehlerart | mögliche Folge | Verbesserung |
|---|---|---|---|---|---|---|
| Beispiel 1 | ||||||
| Beispiel 2 | ||||||
| Beispiel 3 |
Schritt 5: Verbesserung ableiten
Eine gute Evaluation endet nicht mit einer Zahl. Aus den Fehlern sollen konkrete Maßnahmen entstehen, zum Beispiel bessere Testdaten, ein anderer Schwellenwert, zusätzliche menschliche Prüfung, eine Warnung bei Unsicherheit oder eine Begrenzung des Einsatzbereichs.
Der Verbesserungszyklus lautet:
Ziel festlegen → Testen → Messen → Fehler analysieren → Risiken bewerten → Verbessern → erneut testen
Typische Fehlvorstellungen korrigieren
- „Eine hohe Accuracy bedeutet automatisch hohe Qualität.“ Falsch. Bei seltenen positiven Fällen kann Accuracy sehr hoch sein, obwohl alle wichtigen Fälle übersehen werden.
- „Eine einzige Metrik reicht.“ Meist falsch. Verschiedene Metriken beantworten verschiedene Fragen.
- „Wenn die Mathematik stimmt, ist das System fair.“ Falsch. Faire Ergebnisse hängen auch von Daten, Gruppen, Folgen, Zugänglichkeit und gesellschaftlichen Bedingungen ab.
- „Ein KI-Modell hat überall dieselbe Qualität.“ Falsch. Qualität kann sich zwischen normalen Fällen, Grenzfällen, Gruppen und Einsatzorten unterscheiden.
- „Mehr Daten lösen jedes Problem.“ Falsch. Schlechte, verzerrte oder unpassende Daten können Probleme sogar verstärken.
- „Wenn die KI unsicher ist, merkt man das automatisch.“ Falsch. Systeme können sehr sicher formulieren und trotzdem falsch liegen.
- „Menschliche Kontrolle bedeutet nur, am Ende auf OK zu klicken.“ Falsch. Human Agency bedeutet, Ziele, Kriterien und Grenzen mitzubestimmen und Entscheidungen wirklich korrigieren zu können.
Medien- und Quellenkritik
Auch Medien über KI müssen kritisch geprüft werden. Frage bei einer Grafik oder einem Video: Wer hat es erstellt? Welche Daten oder Beispiele werden verwendet? Ist die Darstellung aktuell? Welche Lizenz gilt? Welche Perspektive fehlt?
Die Wikimedia-Commons-Medien in diesem Kurs sind frei lizenziert oder gemeinfrei. Beispiele: ist als CC0 veröffentlicht; , und die gezeigten ORES-Grafiken stehen unter CC BY-SA 4.0. Die Workflow-Grafik ist auf Wikimedia Commons mit Lizenz- und Entstehungsangaben dokumentiert und wurde KI-gestützt erzeugt. Gerade deshalb eignet sie sich als Beispiel dafür, Entstehung und Quellenlage transparent zu prüfen.
Interaktive Aufgaben
Quiz: Teste Dein Wissen
Warum kann eine Accuracy von 99 Prozent bei seltenen positiven Fällen trotzdem problematisch sein? (Weil das System alle wichtigen positiven Fälle übersehen kann) (!Weil Accuracy immer kleiner als Recall sein muss) (!Weil 99 Prozent mathematisch kein gültiger Wert ist) (!Weil Accuracy nur für Bilder verwendet werden darf)
Welche Frage beantwortet Precision? (Wie oft eine positive Vorhersage tatsächlich positiv ist) (!Wie viele Datenpunkte insgesamt vorhanden sind) (!Wie schnell ein Modell trainiert wurde) (!Wie viele negative Fälle im Datensatz vorkommen)
Welche Frage beantwortet Recall? (Wie viele tatsächlich positive Fälle gefunden werden) (!Wie viele Wörter eine Antwort enthält) (!Wie teuer das KI-System ist) (!Wie viele Modelle gleichzeitig getestet werden)
Was ist ein False Positive bei einem Moderationssystem? (Ein unproblematischer Beitrag wird fälschlich markiert) (!Ein problematischer Beitrag wird richtig markiert) (!Ein problematischer Beitrag wird übersehen) (!Ein unproblematischer Beitrag wird richtig nicht markiert)
Warum werden Grenzfälle getestet? (Weil ein System auch bei ungewöhnlichen realistischen Eingaben zuverlässig sein soll) (!Weil Grenzfälle immer leichter als Normalfälle sind) (!Weil nur Grenzfälle für Accuracy gezählt werden) (!Weil Testdaten keine normalen Fälle enthalten dürfen)
Was zeigt eine Gruppenanalyse besonders gut? (Ob die Systemqualität für relevante Teilgruppen unterschiedlich ausfällt) (!Ob ein Computer genug Speicherplatz besitzt) (!Ob ein Text viele Fremdwörter enthält) (!Ob ein Modell besonders schnell gestartet wird)
Was bedeutet gute Kalibrierung vereinfacht? (Vorhergesagte Wahrscheinlichkeiten passen langfristig zu beobachteten Häufigkeiten) (!Jede Vorhersage erhält automatisch hundert Prozent Sicherheit) (!Precision und Recall sind immer gleich groß) (!Alle Gruppen müssen gleich viele Datenpunkte besitzen)
Warum sollte ein Schwellenwert dokumentiert werden? (Weil er beeinflusst welche Fälle als positiv eingestuft werden) (!Weil er die Anzahl der Prozessoren festlegt) (!Weil er die Lizenz der Trainingsdaten bestimmt) (!Weil er jede Form von Bias automatisch entfernt)
Welche Aussage beschreibt Human Agency am besten? (Menschen können Ziele setzen Ergebnisse prüfen und Entscheidungen korrigieren) (!Menschen überlassen jede Entscheidung vollständig dem System) (!Menschen wählen immer die höchste Kennzahl) (!Menschen dürfen Testergebnisse nicht verändern)
Was ist die sinnvollste Reaktion auf wiederkehrende Fehler in Grenzfällen? (Fehler dokumentieren Ursache untersuchen Verbesserung testen und erneut messen) (!Nur den besten Einzelwert veröffentlichen) (!Grenzfälle aus dem Testdatensatz entfernen) (!Die Ergebnisse ohne weitere Prüfung übernehmen)
Memory
| Accuracy | Anteil aller richtigen Vorhersagen |
| Precision | Anteil korrekter positiver Vorhersagen |
| Recall | Anteil gefundener tatsächlich positiver Fälle |
| False Positive | Negativer Fall wird fälschlich positiv eingestuft |
| False Negative | Positiver Fall wird fälschlich negativ eingestuft |
| Robustheit | Zuverlässigkeit bei Störungen und Grenzfällen |
| Kalibrierung | Übereinstimmung von Sicherheit und tatsächlicher Trefferhäufigkeit |
| Human Agency | Menschen behalten wirksame Entscheidungs- und Korrekturmöglichkeiten |
Drag and Drop
| Ordne die richtigen Begriffe zu. | Thema |
|---|---|
| Konfusionsmatrix | stellt richtige und falsche positive sowie negative Vorhersagen gegenüber |
| Fairnessprüfung | vergleicht Qualitätswerte für relevante Teilgruppen |
| Grenzfalltest | untersucht ungewöhnliche aber realistische Eingaben |
| Schwellenwert | legt fest ab welchem Score ein Fall als positiv gilt |
| Fehleranalyse | verbindet einen Fehlertyp mit Ursache Folge und Verbesserung |
Kreuzworträtsel
| Praezision | Wie heißt die Metrik für den Anteil richtiger positiver Vorhersagen? |
| Recall | Welche Metrik misst den Anteil gefundener tatsächlich positiver Fälle? |
| Fairness | Welches Qualitätsziel fragt nach angemessener Behandlung verschiedener Gruppen? |
| Robustheit | Welche Eigenschaft beschreibt Zuverlässigkeit bei Störungen und Grenzfällen? |
| Kalibrierung | Wie heißt die Übereinstimmung zwischen vorhergesagter Sicherheit und beobachteter Häufigkeit? |
| Transparenz | Welches Kriterium verlangt nachvollziehbare Ziele Grenzen und Testbedingungen? |
LearningApps
Lückentext
Offene Aufgaben
Leicht
- Metriken im Alltag: Finde drei Alltagssituationen, in denen „Trefferquote“ allein nicht ausreicht. Erkläre jeweils, welche Fehlerart besonders wichtig wäre.
- Konfusionsmatrix zeichnen: Erstelle für ein selbst gewähltes Beispiel eine 2-mal-2-Matrix und beschrifte TP, FP, FN und TN mit verständlichen Sätzen.
- Grenzfälle sammeln: Entwickle fünf Grenzfälle für ein KI-System, das Texte, Bilder oder Geräusche klassifiziert. Begründe, warum sie schwierig sein könnten.
- Qualitätsrubrik: Erstelle eine kleine Bewertungsrubrik mit drei Kriterien für eine KI-generierte Antwort zu einem Schulthema.
Standard
- Modellvergleich: Berechne für zwei erfundene Systeme Accuracy, Precision und Recall und begründe, welches System für einen konkreten Zweck geeigneter wäre.
- Fehlerfolgen analysieren: Wähle ein KI-Einsatzgebiet und vergleiche die Folgen von False Positives und False Negatives für Betroffene.
- Sprachtest: Entwickle Testfälle in Standardsprache, Umgangssprache und mit Tippfehlern. Prüfe, ob ein KI-System stabil reagiert, und dokumentiere Unterschiede ohne personenbezogene Daten.
- Medienkritik: Vergleiche zwei Erklärvideos oder Schaubilder zu KI-Qualität. Bewerte Verständlichkeit, Quellenangaben, Lizenz, Ausgewogenheit und mögliche Auslassungen.
Schwer
- Fairness-Audit: Entwirf einen Testplan, mit dem Du prüfen würdest, ob ein System unterschiedliche relevante Gruppen ähnlich zuverlässig behandelt. Begründe Deine Gruppenauswahl und vermeide stereotype Annahmen.
- Risiko-Matrix: Ordne mehrere Fehlerszenarien nach Eintrittswahrscheinlichkeit und Schadensschwere. Leite für die wichtigsten Risiken Schutzmaßnahmen ab.
- Evaluation generativer KI: Lass zwei unterschiedliche KI-Ausgaben zu derselben sachlichen Aufgabe erstellen, prüfe sie mit einer selbst entwickelten Rubrik und verifiziere zentrale Aussagen anhand unabhängiger Quellen.
- Verbesserungszyklus: Plane einen vollständigen Zyklus aus Zieldefinition, Testdatensatz, Metriken, Grenzfällen, Fehleranalyse, Verbesserung und Wiederholung. Zeige, wie Du feststellen würdest, ob die Verbesserung wirklich geholfen hat.
|
|
Lernkontrolle
- Metrikwahl begründen: Ein System erkennt seltene Defekte an Fahrrädern. Begründe, warum Accuracy allein nicht genügt und welche Metrik Du zusätzlich priorisieren würdest.
- Zielkonflikt bewerten: System A hat höhere Precision, System B höheren Recall. Formuliere zwei unterschiedliche Einsatzsituationen, in denen jeweils ein anderes System vorzuziehen wäre.
- Fairnessproblem erkennen: Ein Sprachsystem erzielt insgesamt 90 Prozent Accuracy, aber für einen bestimmten Sprachstil nur 65 Prozent. Erkläre, welche weiteren Daten Du brauchst und welche Verbesserungsschritte sinnvoll wären.
- Grenzfall übertragen: Entwickle einen Grenzfall für eine Bilderkennung und erläutere, wie Du testen würdest, ob der Fehler zufällig oder systematisch ist.
- Risiko und Verantwortung: Beschreibe eine Situation, in der ein KI-System trotz guter Kennzahlen nicht autonom entscheiden sollte. Begründe mit möglichen Folgen und menschlichen Korrekturmöglichkeiten.
- Qualitative Bewertung: Beurteile eine KI-generierte Zusammenfassung anhand von Faktentreue, Relevanz, Quellenkritik und Transparenz. Begründe Deine Bewertung mit Textbelegen.
- Verbesserung nachweisen: Ein Team behauptet nach einem Update, sein Modell sei fairer. Entwirf eine Prüfung, die diese Behauptung nachvollziehbar bestätigen oder widerlegen kann.
Lernnachweis
Für einen Lernnachweis solltest Du zeigen, dass Du nicht nur Begriffe kennst, sondern sie anwenden und begründen kannst. Wichtig sind:
- Du erklärst die Idee von Qualitätsmetriken in eigenen Worten.
- Du liest eine Konfusionsmatrix korrekt und unterscheidest TP, TN, FP und FN.
- Du berechnest und interpretierst Accuracy, Precision und Recall an einem neuen Beispiel.
- Du erkennst Situationen, in denen eine hohe Accuracy täuscht.
- Du vergleichst mehrere Metriken und begründest Zielkonflikte.
- Du untersuchst Normalfälle, Grenzfälle und Fehlerszenarien.
- Du berücksichtigst Fairness, Robustheit, Transparenz, Sicherheit und menschliche Kontrolle.
- Du dokumentierst Testbedingungen und Ergebnisse nachvollziehbar.
- Du leitest aus Fehlern konkrete Verbesserungen ab und prüfst diese erneut.
- Du korrigierst typische Fehlvorstellungen, zum Beispiel die Annahme, eine einzige hohe Kennzahl beweise automatisch gute KI-Qualität.
Reflexion und Transfer
Beantworte zum Abschluss drei Fragen in ganzen Sätzen:
- Welche Qualitätsmetrik würdest Du bei einem medizinischen Warnsystem eher priorisieren und warum?
- Welche Metrik oder qualitative Prüfung wäre bei einer automatischen Vorauswahl von Bewerbungen besonders wichtig?
- Wann würdest Du trotz guter Messwerte gegen den Einsatz eines KI-Systems entscheiden?
Transferregel: Bewerte nie nur die Zahl. Prüfe Ziel, Daten, Fehlerarten, Betroffene, Risiken, Grenzfälle und menschliche Verantwortung.
OERs zum Thema
Freie Medien und Vertiefung
- Workflow eines KI-Systems auf Wikimedia Commons: CC BY-SA 4.0 mit transparenter Angabe der KI-gestützten Entstehung.
- Confusion Matrix Metrics auf Wikimedia Commons: CC0, zeigt zentrale Kennzahlen einer Konfusionsmatrix.
- Precisionrecall auf Wikimedia Commons: CC BY-SA 4.0, veranschaulicht Precision und Recall.
- Precision und Recall mit Tierbildern auf Wikimedia Commons: CC0, anschauliches Klassifikationsbeispiel.
- ROC-Kurve auf Wikimedia Commons: CC BY-SA 4.0, zeigt den Zusammenhang von Schwellenwerten und Fehlerraten.
- ORES-Kalibrierung nach Nutzergruppen: CC BY-SA 4.0, Beispiel für Gruppenanalyse.
- ORES-Kalibrierung nach geografischem Bezug: CC BY-SA 4.0, Beispiel für Fairnessprüfung.
- KI-Konzeptkarte auf Wikimedia Commons: CC BY-SA 4.0, Überblick zu Bereichen künstlicher Intelligenz.
Verknüpfte Lernbereiche