Diesen aiMOOC als Battle spielen: Deutsch, Klasse 9-10, G-Niveau

Evaluation und Benchmarks verstehen

Dieser aiMOOC zeigt Dir, wie man die Qualität von technischen und insbesondere KI-gestützten Systemen nicht nur behauptet, sondern systematisch prüft, vergleicht, dokumentiert und verbessert. Du lernst dabei den Unterschied zwischen Evaluation und Benchmark, entwickelst eigene Qualitätskriterien und untersuchst normale Fälle, Grenzfälle und Fehlerszenarien. Der Schwerpunkt liegt auf Anwendungen aus Informatik, Mathematik, Technik, Deutsch, Wirtschaft, Ethik und Gemeinschaftskunde.

Der Kurs ist für die Klasse 10 und für etwa 60 bis 90 Minuten angelegt. Eine Vertiefung auf zwei Unterrichtsstunden ist möglich.

Einleitung

Stell Dir zwei KI-Systeme vor, die beide in einem Test 80 Prozent der Aufgaben richtig lösen. Sind sie deshalb gleich gut? Nicht unbedingt. Vielleicht löst System A fast alle einfachen Standardfälle, scheitert aber bei ungewöhnlichen Eingaben. System B ist bei Standardfällen etwas schwächer, erkennt dafür gefährliche oder unklare Situationen zuverlässig und fordert menschliche Hilfe an.

Genau hier beginnt Evaluation. Evaluation bedeutet, ein System anhand vorher festgelegter Ziele und Kriterien zu untersuchen. Ein Benchmark ist ein möglichst klar definierter Vergleichstest mit festgelegten Aufgaben, Daten, Regeln und Messgrößen. Ein Benchmark kann Teil einer Evaluation sein, ersetzt aber nicht die Bewertung des gesamten Systems in seinem Nutzungskontext.

Ein guter Merksatz lautet:

Benchmark = vergleichbarer Test. Evaluation = begründete Gesamtbewertung im Kontext.

Technische Systeme werden nicht nur entwickelt und dann „fertig“ erklärt. Anforderungen, Gestaltung, Test, Nutzung, Rückmeldungen und Verbesserungen bilden einen Kreislauf. Evaluation gehört deshalb zum Systemdesign.

Lernziele und Ablauf

Am Ende des Kurses kannst Du die zugrunde liegende Idee sicher erklären, an neuen Fällen erkennen und typische Fehlvorstellungen korrigieren.

Phase	Richtzeit	Tätigkeit
Aktivierung und Diagnose	5–10 Minuten	Zwei scheinbar gleich gute Systeme vergleichen und erste Qualitätskriterien formulieren
Einführung	15–20 Minuten	Benchmark, Evaluation, Testfälle, Messgrößen und qualitative Kriterien verstehen
Anwendung	20–30 Minuten	Ein realistisches schulisches KI-System anhand normaler Fälle, Grenzfälle und Fehlerszenarien untersuchen
Interaktive Aufgaben	15–20 Minuten	Wissen anwenden, vergleichen und begründen
Reflexion und Transfer	10–15 Minuten	Verbesserungen, Governance und Folgenabschätzung auf neue Fälle übertragen

Aktivierung und Diagnose: Ist eine Zahl genug?

Zwei Systeme werden mit 20 Fällen geprüft.

Testbereich	Anzahl Fälle	System A	System B
Normale Fälle	10	9 bestanden	8 bestanden
Grenzfälle	5	2 bestanden	4 bestanden
Fehlerszenarien	5	5 sicher behandelt	4 sicher behandelt
Gesamt	20	16 bestanden	16 bestanden

Beide Systeme erreichen 80 Prozent. Trotzdem zeigen die Ergebnisse unterschiedliche Stärken und Schwächen.

Diagnosefragen: Welches System würdest Du für eine Anwendung mit vielen ungewöhnlichen Eingaben bevorzugen? Welches wäre eher geeignet, wenn Fehlerszenarien besonders kritisch sind? Welche Zusatzinformationen fehlen noch, bevor Du entscheiden kannst?

Die wichtigste erste Einsicht lautet: Eine einzelne Kennzahl kann Qualität zusammenfassen, aber sie kann wichtige Unterschiede verdecken.

Grundidee von Evaluation und Benchmarks

Was ist ein Benchmark?

Ein Benchmark legt fest, was getestet wird und wie Ergebnisse vergleichbar gemacht werden. Dazu gehören eine Aufgabe, Testdaten oder Testsituationen, erwartete Ergebnisse oder Bewertungskriterien, eine Auswertungsmethode und eine dokumentierte Testversion.

Ein Benchmark ist besonders nützlich, wenn mehrere Systeme unter möglichst vergleichbaren Bedingungen geprüft werden. Das gilt für Prozessoren, Programme, Suchsysteme, Übersetzungen, Bilderkennung und KI-Sprachsysteme.

Bei einem guten Benchmark ist nicht nur die Punktzahl wichtig. Entscheidend ist auch, ob der Test überhaupt zur späteren Nutzung passt.

Was ist Evaluation?

Evaluation ist umfassender. Sie fragt nicht nur: „Wie viele Aufgaben wurden richtig gelöst?“, sondern auch:

Leitfrage	Beispiel
Ist das System für den vorgesehenen Zweck geeignet?	Ein Lernassistent muss altersgerecht erklären und darf Lernende nicht zu riskanten Handlungen verleiten.
Wie zuverlässig arbeitet es?	Ergebnisse sollen bei vergleichbaren Bedingungen ausreichend stabil sein.
Wo liegen Grenzen?	Unklare, widersprüchliche oder ungewöhnliche Eingaben müssen untersucht werden.
Welche Folgen können Fehler haben?	Eine falsche Freizeit-Empfehlung ist meist weniger kritisch als eine falsche sicherheitsrelevante Empfehlung.
Wer trägt Verantwortung?	Es muss klar sein, wer entscheidet, überprüft, korrigiert und Beschwerden bearbeitet.
Wie wird verbessert?	Fehler müssen dokumentiert, Ursachen untersucht und Änderungen erneut getestet werden.

Von der Aufgabe zum überprüfbaren Systemdesign

Ein System lässt sich als Kette betrachten:

Baustein	Leitfrage	Beispiel
Ziel	Was soll erreicht werden?	Schülerinnen und Schüler sollen verlässliche Informationen zu Schulregeln finden.
Eingabe	Welche Informationen erhält das System?	Eine frei formulierte Frage
Verarbeitung	Wie entsteht ein Ergebnis?	Suche, Regelabgleich oder KI-Modell
Ausgabe	Was sieht der Mensch?	Antwort, Quelle und Hinweis auf Unsicherheit
Menschliche Entscheidung	Wer darf übernehmen oder korrigieren?	Lehrkraft, Sekretariat oder Nutzerin beziehungsweise Nutzer
Rückmeldung	Wie werden Fehler gemeldet?	Markierung als falsch, unklar oder problematisch
Evaluation	Woran wird Qualität geprüft?	Korrektheit, Verständlichkeit, Sicherheit, Fairness und Reaktionszeit

Ein gutes Evaluationsdesign beginnt deshalb vor der eigentlichen Messung.

Normale Fälle, Grenzfälle und Fehlerszenarien

Nur Standardbeispiele zu testen, erzeugt leicht ein falsches Sicherheitsgefühl.

Falltyp	Bedeutung	Beispiel für ein schulisches Auskunftssystem	Erwartetes Verhalten
Normalfall	Typische, häufige Nutzung	„Wann beginnt morgen die erste Stunde?“	Korrekte, klare Antwort mit passender Quelle
Grenzfall	Seltene oder mehrdeutige Situation	„Wann beginnt die erste Stunde nach einem beweglichen Ferientag?“	Kontext prüfen, Unsicherheit kenntlich machen
Fehlerszenario	Eingabe oder Systemzustand ist problematisch	Veralteter Stundenplan oder widersprüchliche Quellen	Nicht raten, Konflikt melden, sichere Alternative anbieten
Missbrauchsfall	System wird absichtlich zweckwidrig genutzt	Aufforderung, private Daten anderer Lernender offenzulegen	Anfrage ablehnen und Datenschutz schützen
Ausfallfall	Technische Grundlage fehlt	Datenquelle ist nicht erreichbar	Fehler transparent anzeigen und Rückfallebene anbieten

Diese Falltypen helfen, Robustheit, Sicherheit und reale Nutzbarkeit zu prüfen.

Messbare Qualitätskriterien

Messbare Kriterien machen Vergleiche nachvollziehbar. Sie sind jedoch nur sinnvoll, wenn klar ist, was die Zahl bedeutet.

Richtig, falsch und die Konfusionsmatrix

Bei Klassifikationsaufgaben kann eine Konfusionsmatrix zeigen, welche Fehlerarten auftreten.

Ein Beispiel: Ein System soll Spam-Nachrichten erkennen. Von 100 Nachrichten sind 20 tatsächlich Spam. Das System markiert 18 Nachrichten als Spam. Davon sind 15 wirklich Spam, drei sind normale Nachrichten. Fünf Spam-Nachrichten werden übersehen.

Dann gilt:

Größe	Bedeutung	Beispielwert
True Positive	Spam korrekt erkannt	15
False Positive	Normale Nachricht fälschlich als Spam markiert	3
False Negative	Spam übersehen	5
True Negative	Normale Nachricht korrekt erkannt	77

Die Accuracy beträgt 92 von 100 und damit 92 Prozent. Trotzdem lohnt der Blick auf weitere Größen.

Precision und Recall

Precision beantwortet die Frage: Wenn das System „positiv“ sagt, wie oft stimmt das?

Im Beispiel: 15 von 18 als Spam markierten Nachrichten sind wirklich Spam. Die Precision beträgt ungefähr 83 Prozent.

Recall beantwortet die Frage: Wie viele der tatsächlich positiven Fälle findet das System?

Im Beispiel: 15 von 20 Spam-Nachrichten werden gefunden. Der Recall beträgt 75 Prozent.

Die Wahl der Kennzahl hängt vom Zweck ab. Wenn ein verpasster gefährlicher Fall besonders schwer wiegt, kann hoher Recall wichtiger sein. Wenn falsche Warnungen sehr schädlich sind, kann hohe Precision wichtiger werden.

Das Video erklärt die Konfusionsmatrix anschaulich. Nutze es als Vertiefung; entscheide anschließend selbst, welche Kennzahl für einen konkreten Anwendungsfall sinnvoll ist.

Weitere messbare Kriterien

Kriterium	Mögliche Messung	Wichtige Rückfrage
Korrektheitsrate	Anteil fachlich richtiger Antworten	Wer legt fest, was als richtig gilt?
Fehlerrate	Anteil falscher oder unbrauchbarer Ergebnisse	Sind alle Fehler gleich schwer?
Grenzfall-Erfolgsrate	Bestandene Grenzfälle geteilt durch alle Grenzfälle	Sind die Grenzfälle realistisch gewählt?
sichere Ablehnungsrate	Angemessene Ablehnungen bei riskanten Anfragen	Lehnt das System vielleicht auch harmlose Anfragen unnötig ab?
Quellenkorrektheit	Anteil korrekt zugeordneter Quellen	Belegt die Quelle wirklich die Aussage?
Reaktionszeit	Zeit bis zur Ausgabe	Ist schneller immer besser als genauer?
Stabilität	Ähnliche Ergebnisse bei kleinen Eingabeänderungen	Welche Änderungen sollten das Ergebnis tatsächlich verändern?
Gruppenvergleich	Qualitätswerte für verschiedene relevante Gruppen	Sind Unterschiede sachlich erklärbar oder problematisch?

Optional: Schwellenwerte und ROC-Kurven

Viele Systeme entscheiden nicht direkt „ja“ oder „nein“, sondern berechnen zunächst einen Wert. Ein Schwellenwert bestimmt dann die endgültige Entscheidung. Wird der Schwellenwert verändert, verändert sich oft das Verhältnis zwischen richtig erkannten und falsch ausgelösten Fällen.

Für Klasse 10 genügt die Grundidee: Eine technische Entscheidungsschwelle verändert die Fehlerarten. Deshalb muss sie zum Risiko des Anwendungsfalls passen.

Qualitative Qualitätskriterien

Nicht alles Wichtige lässt sich sinnvoll auf eine einzige Zahl reduzieren. Deshalb braucht Evaluation auch qualitative Beurteilungen.

Eine einfache Bewertungsrubrik kann mit 0, 1 oder 2 Punkten arbeiten:

Kriterium	0 Punkte	1 Punkt	2 Punkte
Verständlichkeit	unklar oder widersprüchlich	teilweise verständlich	klar, passend und nachvollziehbar
Transparenz	Grenzen werden verschwiegen	teilweise Hinweise	Quellen, Unsicherheit und Grenzen werden angemessen erklärt
Fairness	vermeidbar benachteiligend	uneinheitlich	relevante Gruppen werden nachvollziehbar berücksichtigt
Human Agency	Mensch wird faktisch übergangen	Eingriff nur schwer möglich	Mensch kann verstehen, prüfen, widersprechen und entscheiden
Sicherheit	riskantes Verhalten wird gefördert	Schutzmaßnahmen sind lückenhaft	Risiken werden erkannt und angemessen behandelt
Lernförderlichkeit	liefert nur fertige Lösung	bietet begrenzte Unterstützung	fördert eigenes Denken, Begründungen und Überprüfung

Qualitative Bewertungen werden stärker, wenn mehrere Personen dieselben Kriterien unabhängig anwenden und ihre Begründungen vergleichen. So wird sichtbar, wo ein Kriterium noch unklar formuliert ist.

Benchmark-Design

Was macht einen guten Benchmark aus?

Ein Benchmark sollte möglichst valide, reproduzierbar, repräsentativ und transparent sein.

Qualitätsfrage	Gute Praxis	Typischer Fehler
Passt der Test zur echten Aufgabe?	Reale Nutzungssituationen abbilden	Bequeme Aufgaben testen, die im Alltag kaum vorkommen
Sind die Fälle vielfältig genug?	Normale Fälle, Grenzfälle und Fehlerfälle mischen	Nur einfache Standardfälle verwenden
Ist die Bewertung nachvollziehbar?	Regeln und Referenzen dokumentieren	Nachträglich Kriterien verändern
Ist der Test unabhängig?	Testdaten getrennt von Entwicklung und Training halten	Lösungen oder Testfälle vorher bekannt machen
Können Ergebnisse wiederholt werden?	Version, Einstellungen und Zeitpunkt dokumentieren	Nur eine einmalige Demonstration zeigen
Werden Grenzen genannt?	Aussagebereich offen beschreiben	Aus einem kleinen Test allgemeine Überlegenheit ableiten

Testdaten, Trainingsdaten und Datenleckage

Ein wichtiges Prinzip lautet: Ein System darf nicht einfach mit den Lösungen des späteren Tests trainiert werden und dann mit demselben Test bewertet werden.

Wenn Testaufgaben oder ihre Lösungen bereits in der Entwicklung gezielt genutzt wurden, kann ein Ergebnis künstlich gut aussehen. Das wird als Form von Datenleck oder Testkontamination problematisch.

Die Schulanalogie ist einfach: Wenn Du vor einer Klassenarbeit exakt die späteren Aufgaben samt Lösungen auswendig lernst, zeigt ein gutes Ergebnis weniger darüber, ob Du das Thema auf neue Fälle übertragen kannst.

Ein belastbarer Benchmark enthält daher Aufgaben, die echte Übertragung verlangen.

Systemdesign, Governance und Folgenabschätzung

Evaluation als Teil des Systemdesigns

Evaluation ist kein letzter Haken auf einer Checkliste. Sie beeinflusst die Gestaltung des Systems.

Ein sinnvoller Kreislauf lautet:

Ziel klären → Anforderungen festlegen → Testfälle entwerfen → System gestalten → messen → Fehler analysieren → verbessern → erneut testen → Nutzung beobachten

So entsteht ein Qualitätsmanagement, das Änderungen nachvollziehbar macht.

Governance: Wer entscheidet und wer trägt Verantwortung?

Governance beschreibt Regeln, Rollen und Verfahren, mit denen ein System verantwortungsvoll eingesetzt wird.

Rolle	Aufgabe
Entwickelnde	System gestalten, bekannte Grenzen dokumentieren, Tests ermöglichen
Prüfende	unabhängige Testfälle auswählen und Ergebnisse nachvollziehbar bewerten
Nutzende	System angemessen einsetzen, Ergebnisse kritisch prüfen und Fehler melden
Verantwortliche Stelle	Einsatzbereich, Freigabe, Eskalation und Abschaltung festlegen
Betroffene	Rückmeldung geben, Entscheidungen nachvollziehen und anfechten können

Human Agency bedeutet mehr als einen Menschen neben ein System zu setzen. Menschen müssen ausreichend informiert sein, eine Entscheidung wirklich verstehen, widersprechen, korrigieren und bei Bedarf das System umgehen können.

Sicherheit, Fairness und Transparenz

Verantwortliche Evaluation betrachtet technische Leistung und gesellschaftliche Folgen gemeinsam.

Datei:Ethics of AI in Digital Medicine – Explanation why transparent explainable AI is important.webm

Die konkrete Anwendung im Video stammt aus einem anderen Bereich, aber die Grundidee lässt sich übertragen: Wenn ein System Menschen betrifft, reicht eine hohe Punktzahl allein nicht. Es muss nachvollziehbar sein, woher Ergebnisse kommen, welche Grenzen bestehen und wer handeln kann.

Das Video behandelt algorithmische Verzerrungen und Fairness. Für die Auswertung ist wichtig: Übernimm nicht einfach die genannten Beispiele, sondern prüfe, welche Formen von Verzerrung auf Deinen eigenen Anwendungsfall übertragbar sind.

Folgenabschätzung

Eine Folgenabschätzung fragt vor dem Einsatz und während der Nutzung, welche erwünschten und unerwünschten Wirkungen entstehen können.

Perspektive	Leitfragen
Nutzen	Welches Problem wird tatsächlich besser gelöst?
Betroffene	Wer profitiert, wer trägt Risiken, wer wird möglicherweise übersehen?
Fehlerfolgen	Was passiert bei falschen, verspäteten oder missverständlichen Ergebnissen?
Fairness	Unterscheidet sich die Qualität für relevante Gruppen?
Datenschutz	Welche Daten werden benötigt und welche davon sollten vermieden werden?
Transparenz	Können Betroffene erkennen, dass ein System beteiligt ist und warum ein Ergebnis entstand?
Eingriffsmöglichkeiten	Können Menschen korrigieren, widersprechen oder auf einen anderen Weg ausweichen?
Langzeitwirkung	Verändert das System Verhalten, Abhängigkeiten oder Entscheidungswege?

Realistische Anwendungssituation: Ein KI-Auskunftssystem für die Schule

Eine Schule erwägt ein KI-gestütztes Auskunftssystem. Es soll Fragen zu Stundenplan, Raumwechseln, Bibliothek, Schulordnung und Veranstaltungen beantworten. Es darf keine privaten Daten über andere Personen offenlegen und soll bei Unsicherheit auf verlässliche menschliche Ansprechpersonen verweisen.

Zwei Systeme werden mit 20 Fällen geprüft.

Testbereich	System A	System B	Interpretation
10 normale Fälle	9 bestanden	8 bestanden	A ist bei Standardfragen stärker
5 Grenzfälle	2 bestanden	4 bestanden	B geht besser mit ungewöhnlichen Situationen um
5 Fehlerszenarien	5 sicher behandelt	4 sicher behandelt	A reagiert in den getesteten Fehlerfällen vorsichtiger
Gesamt	16 von 20	16 von 20	Gleicher Gesamtwert, aber anderes Risikoprofil

Die reine Gesamtquote reicht nicht für eine Entscheidung.

Qualitativer Vergleich

Kriterium	System A	System B
Quellenhinweise	oft vorhanden	fast immer vorhanden
Erklärung von Unsicherheit	knapp	deutlich
Verständlichkeit	sehr kurz	meist gut begründet
Möglichkeit zur menschlichen Eskalation	vorhanden	vorhanden
Umgang mit mehrdeutigen Fragen	häufig vorschnelle Antwort	häufiger Rückfrage

Transferfrage: Welches System würdest Du einsetzen? Eine gute Antwort nennt nicht nur einen Favoriten, sondern verbindet Ziel, Risiken, Messwerte, qualitative Kriterien und notwendige Verbesserungen.

Dokumentationsvorlage für eigene Tests

Test-ID	Falltyp	Eingabe	Erwartetes Verhalten	Beobachtetes Ergebnis	Bewertung	Risiko	Verbesserung	Retest
01	Normalfall
02	Grenzfall
03	Fehlerszenario

Diese Dokumentation macht aus einem Test einen Lern- und Verbesserungsprozess.

Von Ergebnissen zu konkreten Verbesserungen

Ein Evaluationsergebnis ist erst dann besonders wertvoll, wenn daraus nachvollziehbare Änderungen folgen.

Beobachtung	Vermutete Ursache	Änderung	Erfolgskriterium für den Retest
Grenzfälle werden zu schnell beantwortet	Unsicherheit wird nicht ausreichend erkannt	Bei Mehrdeutigkeit Rückfrage erzwingen	Mindestens 4 von 5 Grenzfällen korrekt behandeln
Quellen passen nicht immer zur Aussage	Quellenprüfung ist zu schwach	Antwort nur mit überprüfter Fundstelle ausgeben	Quellenkorrektheit mindestens 95 Prozent im Testset
Nutzende erkennen Unsicherheit nicht	Formulierung zu selbstsicher	Unsicherheit sichtbar kennzeichnen	In qualitativer Bewertung mindestens 2 von 2 Punkten für Transparenz
Schutzfunktion blockiert harmlose Fragen	Regel zu streng	Ausnahmen anhand dokumentierter Fälle überarbeiten	Sicherheit erhalten, gleichzeitig weniger unnötige Ablehnungen

Verbesserungen dürfen nicht nur den einen schwachen Testbereich erhöhen und an anderer Stelle neue Probleme erzeugen. Deshalb wird nach jeder Änderung erneut auf mehrere Kriterien getestet.

Typische Fehlvorstellungen

Fehlvorstellung	Korrektur
„Das System mit der höchsten Benchmark-Punktzahl ist automatisch das beste.“	Nur wenn Benchmark, Nutzungskontext und Risiken wirklich zusammenpassen, ist die Punktzahl aussagekräftig.
„95 Prozent Accuracy bedeutet 95 Prozent Sicherheit.“	Accuracy beschreibt einen bestimmten Anteil richtiger Entscheidungen, nicht automatisch Sicherheit oder geringe Schadensfolgen.
„Ein sehr großer Test ist automatisch gut.“	Ein großer, aber einseitiger Test kann weniger nützlich sein als ein kleinerer, gut ausgewählter Test.
„Ein Benchmark ist objektiv, weil er Zahlen liefert.“	Auswahl der Aufgaben, Gewichtung und Messgrößen enthalten menschliche Entscheidungen.
„Wenn ein Mensch am Ende klickt, gibt es Human Agency.“	Menschen brauchen echte Informationen, Zeit, Befugnisse und Alternativen, um sinnvoll eingreifen zu können.
„Fairness bedeutet immer identische Ergebnisse für alle.“	Je nach Kontext muss geprüft werden, welche Unterschiede sachlich gerechtfertigt sind und welche Benachteiligungen vermieden werden sollen.
„Ein einmal erfolgreicher Test beweist dauerhafte Qualität.“	Systeme, Daten und Nutzung können sich verändern. Evaluation muss deshalb wiederholt und versioniert werden.
„Nur technische Fehler gehören in eine Evaluation.“	Auch Verständlichkeit, Governance, Datenschutz, Fairness und gesellschaftliche Folgen können entscheidend sein.

Fächerübergreifende Bezüge

Fach	Bezug	Mögliche Leitfrage
Informatik	Testdesign, Daten, Klassifikation, Robustheit, Systemgrenzen	Wie wird aus einer Systemanforderung ein überprüfbarer Test?
Mathematik	Anteile, Prozentrechnung, Precision, Recall, Vergleich von Kennzahlen	Welche Kennzahl bildet welches Risiko besser ab?
Technik	Systemlebenszyklus, Zuverlässigkeit, Fehlertoleranz	Wie muss ein System auf Ausfall und Fehlbedienung reagieren?
Deutsch	Verständlichkeit, Argumentation, Kriterienraster, Quellenkritik	Wie begründet man ein Qualitätsurteil statt nur eine Punktzahl zu nennen?
Wirtschaft	Kennzahlen, Zielkonflikte, Effizienz und Anreize	Was passiert, wenn Organisationen nur noch eine Kennzahl optimieren?
Geschichte	Entwicklung von Mess- und Vergleichsverfahren in Technik und Gesellschaft	Wie verändern neue Messverfahren Vorstellungen von Leistung?
Ethik	Fairness, Verantwortung, Menschenwürde, Autonomie	Wann ist eine technisch gute Entscheidung trotzdem problematisch?
Gemeinschaftskunde	Regeln, Rechenschaft, Beteiligung und Beschwerdemöglichkeiten	Wer darf über Einsatz, Kontrolle und Abschaltung eines Systems entscheiden?

Interaktive Aufgaben

Quiz: Teste Dein Wissen

Was beschreibt einen Benchmark am besten? (Ein klar definierter Vergleichstest mit Aufgaben Kriterien und Auswertung) (!Eine beliebige Sammlung interessanter Beispiele) (!Eine Garantie für fehlerfreie Systeme) (!Eine fertige Entscheidung ohne Kontext)

Warum ist Evaluation umfassender als ein Benchmark? (Sie berücksichtigt zusätzlich Nutzungskontext Risiken und qualitative Kriterien) (!Sie verzichtet vollständig auf Messwerte) (!Sie betrachtet nur die Geschwindigkeit eines Systems) (!Sie ersetzt jede menschliche Entscheidung)

Warum kann eine hohe Accuracy irreführend sein? (Sie kann wichtige Fehlerarten oder ungleich verteilte Fälle verdecken) (!Sie ist grundsätzlich nie berechenbar) (!Sie misst ausschließlich die Reaktionszeit) (!Sie ist immer kleiner als der Recall)

Was beschreibt Recall bei einer positiven Zielklasse? (Den Anteil der tatsächlich positiven Fälle die erkannt werden) (!Den Anteil aller Antworten die besonders schnell entstehen) (!Die Zahl der verwendeten Testpersonen) (!Die durchschnittliche Länge einer Antwort)

Wozu dienen Grenzfälle in einer Evaluation? (Sie prüfen Verhalten in seltenen mehrdeutigen oder extremen Situationen) (!Sie sollen nur die Gesamtpunktzahl erhöhen) (!Sie ersetzen alle normalen Fälle) (!Sie machen menschliche Kontrolle überflüssig)

Warum sollte ein Testset von Entwicklung und Training getrennt sein? (Damit das Ergebnis besser zeigt wie das System auf neue Fälle überträgt) (!Damit keine Dokumentation nötig ist) (!Damit jede Antwort automatisch korrekt wird) (!Damit nur noch qualitative Kriterien erlaubt sind)

Was gehört zu guter Governance eines KI-Systems? (Klare Rollen Zuständigkeiten Eskalationswege und Dokumentation) (!Eine einzige Kennzahl ohne Begründung) (!Unbegrenzte Nutzung ohne Verantwortliche) (!Das Verbergen bekannter Systemgrenzen)

Wann besteht echte Human Agency? (Wenn Menschen verstehen prüfen widersprechen und eingreifen können) (!Wenn jede Systemausgabe automatisch übernommen wird) (!Wenn nur Entwickelnde das System sehen dürfen) (!Wenn ein Mensch lediglich einen vorgegebenen Knopf drücken muss)

Wie sollte Fairness sinnvoll geprüft werden? (Indem relevante Gruppen Auswirkungen und mögliche Benachteiligungen verglichen werden) (!Indem alle Unterschiede grundsätzlich ignoriert werden) (!Indem nur der Durchschnitt betrachtet wird) (!Indem schwierige Fälle aus dem Test entfernt werden)

Was ist der beste nächste Schritt nach einem gefundenen Fehlermuster? (Ursache analysieren Verbesserung umsetzen und anschließend erneut testen) (!Den Fehler aus dem Bericht löschen) (!Nur die Gesamtpunktzahl veröffentlichen) (!Den Benchmark unverändert als Beweis für Qualität verwenden)

Memory

Benchmark	standardisierter Vergleichstest
Evaluation	begründete Gesamtbewertung
Normalfall	typische Nutzungssituation
Grenzfall	seltene oder mehrdeutige Situation
Robustheit	angemessenes Verhalten trotz Störungen
Governance	Regeln Rollen und Verantwortlichkeiten
Precision	Trefferanteil unter positiven Vorhersagen
Recall	Anteil gefundener tatsächlich positiver Fälle

Drag and Drop

Ordne die richtigen Begriffe zu.	Thema
Normalfall	Häufige typische Nutzung
Grenzfall	Seltene mehrdeutige oder extreme Nutzung
Fehlerszenario	Situation mit fehlerhaften Daten Ausfall oder problematischer Eingabe
Messgröße	Quantitativ bestimmbarer Qualitätswert
Qualitatives Kriterium	Begründete Bewertung etwa zu Transparenz oder Verständlichkeit

Kreuzworträtsel

Benchmark	Wie heißt ein standardisierter Vergleichstest?
Validität	Wie heißt die Eigenschaft dass ein Test tatsächlich das misst was er messen soll?
Fairness	Welches Kriterium untersucht vermeidbare Benachteiligungen?
Robustheit	Wie heißt die Fähigkeit auch bei Störungen angemessen zu funktionieren?
Transparenz	Wie heißt die nachvollziehbare Offenlegung von Grenzen Quellen und Verfahren?
Governance	Wie nennt man Regeln Rollen und Zuständigkeiten für verantwortlichen Einsatz?

LearningApps

Lückentext

Ein

schafft einen festgelegten Vergleichsmaßstab. Eine umfassendere

betrachtet zusätzlich Nutzungskontext und Folgen. Typische Nutzungssituationen heißen

. Seltene oder mehrdeutige Situationen werden als

geprüft. Eine Konfusionsmatrix macht verschiedene Arten von

sichtbar. Der Anteil der tatsächlich positiven Fälle, die erkannt werden, heißt

. Ein gutes Testset sollte zur echten Nutzung möglichst

sein. Klare Rollen und Zuständigkeiten gehören zur

. Menschliche Eingriffsmöglichkeiten stärken die

. Nach einer Verbesserung sollte das System erneut

werden.

Offene Aufgaben

Leicht

Benchmark: Suche Dir einen alltäglichen Vergleichstest, zum Beispiel Akkulaufzeit, Übersetzungsqualität oder Suchergebnisse. Erkläre, was gemessen wird und was der Test nicht zeigt.
Qualitätskriterien: Formuliere für ein digitales Lernwerkzeug drei messbare und drei qualitative Qualitätskriterien. Begründe jedes Kriterium in einem Satz.
Fehleranalyse: Erfinde je einen Normalfall, Grenzfall und ein Fehlerszenario für ein digitales Auskunftssystem Deiner Schule.
Medienkompetenz: Untersuche eines der eingebundenen Schaubilder. Erkläre, welche Aussage es unterstützt und welche Fehlinterpretation dabei möglich wäre.

Standard

Testdesign: Entwickle einen Mini-Benchmark mit zwölf Fällen. Plane mindestens sechs normale Fälle, drei Grenzfälle und drei Fehlerszenarien und begründe die Verteilung.
Konfusionsmatrix: Entwirf ein Klassifikationsbeispiel aus dem Schulalltag, lege True Positive, False Positive, False Negative und True Negative fest und erkläre, welche Fehlerart besonders problematisch ist.
Bewertungsraster: Entwickle eine Rubrik mit vier qualitativen Kriterien und jeweils drei Bewertungsstufen. Lass eine zweite Person einen Beispieloutput unabhängig bewerten und vergleicht Eure Begründungen.
Systemvergleich: Vergleiche zwei fiktive Systeme mit gleicher Gesamtpunktzahl, aber unterschiedlichen Ergebnissen bei Grenz- und Fehlerszenarien. Formuliere eine begründete Einsatzempfehlung.

Schwer

Fairness: Entwickle einen Fairness-Check für ein fiktives KI-System. Lege fest, welche Gruppen oder Nutzungssituationen getrennt betrachtet werden sollten und welche Unterschiede problematisch wären.
Governance: Erstelle einen Verantwortungsplan für ein schulisches KI-System. Bestimme Freigabe, laufende Kontrolle, Fehlerbearbeitung, Eskalation und Abschaltentscheidung.
Folgenabschätzung: Vergleiche den Einsatz eines KI-Systems für harmlose Schulweg-Informationen mit einem System zur Vorauswahl von Bewerbungen. Zeige, warum sich Testtiefe und Anforderungen unterscheiden müssen.
Red Teaming: Versuche ein fiktives System mit ungewöhnlichen, widersprüchlichen und absichtlich problematischen Eingaben an seine Grenzen zu bringen. Dokumentiere Fehler, leite mindestens zwei Verbesserungen ab und plane einen Retest.

Lernkontrolle

Transfer auf neue Systeme: Ein System soll automatisch erkennen, ob eine Online-Nachricht beleidigend ist. Entwickle ein Testdesign mit Normalfällen, Grenzfällen und Fehlerszenarien und begründe, welche Kennzahlen Du verwenden würdest.
Zielkonflikte: Ein System kann entweder mehr riskante Fälle erkennen oder weniger harmlose Fälle fälschlich blockieren. Erkläre den Zielkonflikt und entscheide für zwei unterschiedliche Anwendungskontexte jeweils anders.
Benchmarkkritik: Ein Hersteller veröffentlicht nur einen Gesamtwert von 94 Prozent. Formuliere mindestens fünf Rückfragen, die nötig sind, bevor Du die Zahl sinnvoll beurteilen kannst.
Fairness und Folgen: Ein Lernsystem funktioniert für kurze Standardsprache sehr gut, aber deutlich schlechter bei langen, ungewöhnlich formulierten Fragen. Analysiere technische und soziale Folgen und schlage passende Verbesserungen vor.
Governance im Fehlerfall: Nach einem Update verschlechtert sich die Qualität in Grenzfällen. Entwirf einen Ablauf vom ersten Fehlerbericht bis zur Entscheidung über Rücknahme, Korrektur oder Weiterbetrieb.
Fehlvorstellungen korrigieren: Eine Person sagt: „Das System hat im Benchmark gewonnen, also ist es für unsere Schule automatisch das beste.“ Formuliere eine sachliche Gegenargumentation mit mindestens drei unterschiedlichen Gründen.

Lernnachweis

Für einen Lernnachweis zu diesem Thema ist wichtig, dass Du nicht nur Begriffe nennst, sondern Zusammenhänge begründet anwenden kannst.

Evaluation: Du kannst erklären, warum Evaluation über eine einzelne Benchmark-Punktzahl hinausgeht.
Benchmark: Du kannst einen passenden Vergleichstest für einen neuen Anwendungsfall entwerfen.
Qualitätskriterien: Du kannst messbare und qualitative Kriterien auswählen und ihre Bedeutung begründen.
Testfälle: Du kannst Normalfälle, Grenzfälle und Fehlerszenarien unterscheiden und selbst entwickeln.
Metriken: Du kannst Accuracy, Precision und Recall in einfachen Beispielen sinnvoll interpretieren.
Dokumentation: Du kannst Testergebnisse so festhalten, dass andere den Vergleich nachvollziehen können.
Verbesserungsprozess: Du kannst aus Fehlermustern konkrete Änderungen und Retests ableiten.
Governance: Du kannst Rollen, menschliche Eingriffsmöglichkeiten und Verantwortlichkeiten beschreiben.
Folgenabschätzung: Du kannst technische Leistung mit Fairness, Sicherheit und gesellschaftlichen Auswirkungen verbinden.
Transfer: Du kannst typische Fehlvorstellungen an neuen Beispielen erkennen und korrigieren.

OERs zum Thema

Quellen und Vertiefung

NIST AI Risk Management Framework: Orientierungsrahmen für zuverlässige, sichere, transparente und faire KI-Systeme.
NIST AI Measurement and Evaluation: Überblick zu Mess- und Evaluationsmethoden für KI.
OECD AI Principles: Grundsätze zu Menschenrechten, Transparenz, Robustheit, Sicherheit und Verantwortlichkeit.
Benchmark (Computer): Hintergrund zu Benchmarks in der Informatik.
Künstliche Intelligenz: Grundlagen und Anwendungsbereiche.
Maschinelles Lernen: Technischer Hintergrund zu lernenden Systemen.
Ethik der künstlichen Intelligenz: Ethische Fragen zu Verantwortung und Fairness.

Verknüpfte Lernbereiche

Evaluation und Benchmarks verstehen

aiMOOC-Projekte

Inhalte werden geladen ...

Mediathek wird aus dem Wiki geladen ...

Frag mich zum aktuellen Lerninhalt oder wähle eine kurze Hilfe.

Textmodus bereit

Sprache