Model Cards verstehen
Model Cards verstehen
Einleitung
Model Cards verstehen bedeutet, eine zentrale Kompetenz für den verantwortungsvollen Umgang mit Künstlicher Intelligenz aufzubauen: Du lernst, die Dokumentation eines KI-Modells nicht einfach zu glauben, sondern systematisch zu prüfen. Eine Model Card – auf Deutsch oft als Modellkarte bezeichnet – beschreibt ein trainiertes Machine-Learning-Modell, seinen vorgesehenen Einsatz, verwendete Daten, Messwerte, bekannte Grenzen, Risiken und Empfehlungen. Sie soll Menschen dabei helfen, begründet zu entscheiden, ob, wie und unter welchen Bedingungen ein Modell eingesetzt werden sollte.
Der Kurs richtet sich besonders an Klasse 9 und ist für etwa 45 bis 90 Minuten angelegt. Du verbindest Informatik mit Deutsch, Mathematik, Technik, Wirtschaft, Geschichte, Ethik und Gemeinschaftskunde. Im Mittelpunkt steht nicht das Auswendiglernen von Begriffen, sondern die Fähigkeit, Dokumentation als Quelle zu lesen, Zahlen zu hinterfragen, Risiken abzuwägen und Verantwortung nicht an ein KI-System abzugeben.
Die Abbildung zeigt stark vereinfacht ein künstliches neuronales Netz. Eine Model Card erklärt nicht jede einzelne Verbindung in einem solchen Modell. Sie liefert vielmehr Informationen darüber, wofür das Modell gedacht ist, wie es getestet wurde, wo seine Grenzen liegen und wer mit diesen Informationen verantwortungsvoll handeln muss.
Zentrale KI-Kompetenz
Am Ende kannst Du die Grundidee einer Model Card in eigenen Worten erklären und bei einem neuen KI-Beispiel fünf Kernfragen stellen:
| Prüffrage | Worum es geht | Warum sie wichtig ist |
|---|---|---|
| Wofür? | Vorgesehener Einsatz und ausgeschlossene Anwendungen | Ein Modell kann für einen Zweck brauchbar und für einen anderen ungeeignet sein. |
| Womit gelernt? | Trainingsdaten, Herkunft, Abdeckung und mögliche Verzerrungen | Daten beeinflussen, welche Muster ein Modell lernen kann. |
| Wie geprüft? | Evaluationsdaten, Kennzahlen, Vergleichsgruppen und Testbedingungen | Eine hohe Zahl ist nur aussagekräftig, wenn klar ist, wie sie entstanden ist. |
| Wo sind Grenzen? | Fehlerarten, Unsicherheit, Bias, Sicherheits- und Fairnessrisiken | Bekannte Grenzen helfen, Fehlgebrauch zu vermeiden. |
| Wer trägt Verantwortung? | Menschliche Aufsicht, Zuständigkeit, Monitoring und Möglichkeit zum Widerspruch | Ein KI-Modell übernimmt keine moralische oder rechtliche Letztverantwortung. |
Merksatz: Eine Model Card ist eine Entscheidungshilfe, kein Qualitätssiegel.
Lernziele
Nach dem Kurs kannst Du eine Model Card als Quelle analysieren, relevante Angaben von Werbeaussagen unterscheiden, einfache Leistungswerte berechnen und vergleichen, fehlende Informationen erkennen, Risiken für unterschiedliche Betroffene abwägen, zwischen KI-Modell und KI-System unterscheiden und eine begründete Einsatzentscheidung formulieren.
Unterrichtsweg für 45 bis 90 Minuten
| Phase | Kernzeit | Vertiefung | Lernhandlung |
|---|---|---|---|
| Aktivierung | 5 Minuten | bis 10 Minuten | Vermutungen sichtbar machen und erste Prüffragen formulieren |
| Einführung | 10 Minuten | bis 15 Minuten | Aufbau und Zweck einer Model Card verstehen |
| Daten- und Systembewertung | 10 Minuten | bis 20 Minuten | Kennzahlen vergleichen und Grenzen erkennen |
| Anwendungssituation | 15 Minuten | bis 25 Minuten | Schulischen Einsatz prüfen, entscheiden und begründen |
| Selbstkontrolle und Transfer | 5 Minuten | bis 20 Minuten | Fehlvorstellungen korrigieren und auf neue Fälle übertragen |
Aktivierung und Diagnose: Würdest Du dieser KI vertrauen?
Stell Dir vor, Deine Schule möchte eine KI einsetzen, die auf Grundlage eines kurzen Fragebogens Praktikumsfelder empfiehlt. Auf dem Werbeplakat steht: „90 % Trefferquote – objektiv, fair und zuverlässig.“
- Erster Eindruck: Notiere spontan, welche der vier Aussagen „objektiv“, „fair“, „zuverlässig“ und „90 % Trefferquote“ Du für ausreichend belegt hältst.
- Prüffrage: Formuliere zwei Informationen, die Dir fehlen, bevor Du dem Einsatz zustimmst.
- Verantwortung: Entscheide, wer bei einer falschen Empfehlung reagieren können muss und wie ein Schüler oder eine Schülerin widersprechen könnte.
Bewahre Deine Antworten auf. Am Ende des Kurses prüfst Du, was Du verändern würdest.
Was ist eine Model Card?
Eine Model Card ist eine strukturierte Dokumentation zu einem trainierten Machine-Learning-Modell. Das Konzept wurde 2018 als Vorabveröffentlichung und 2019 in der Arbeit „Model Cards for Model Reporting“ von Margaret Mitchell und weiteren Forschenden vorgestellt. Ziel war es, den vorgesehenen Einsatz und die Leistungsmerkmale von Modellen transparenter zu machen, besonders dort, wo Menschen von automatisierten Entscheidungen betroffen sein können.
Ein hilfreicher Vergleich ist ein Produktdatenblatt oder eine Nährwerttabelle: Du bekommst wichtige Angaben, damit Du besser entscheiden kannst. Der Vergleich hat aber Grenzen. Eine Model Card ist kein amtliches Prüfsiegel, keine Garantie für Fairness und auch keine vollständige Erklärung jeder einzelnen Ausgabe.
Das Video führt in das Konzept der Model Cards ein. Prüfe auch das Video selbst wie eine Quelle: Wer hat es erstellt? Welche Beispiele werden gezeigt? Welche Aussagen sind belegt? Was bleibt offen?
Typische Bestandteile
Die ursprüngliche Model-Card-Idee enthält mehrere Bereiche. In der Praxis können Aufbau und Bezeichnungen variieren.
| Bereich | Leitfrage für Dich | Beispiel |
|---|---|---|
| Modelldetails | Welches Modell, welche Version, von wem und wann? | Version 1.2, Entwicklerteam, Veröffentlichungsdatum |
| Intended Use | Wofür ist das Modell vorgesehen? | Orientierungshilfe für Praktikumsfelder |
| Out-of-Scope | Wofür soll es ausdrücklich nicht benutzt werden? | Keine automatische Auswahl oder Ablehnung von Bewerbungen |
| Faktoren | Unter welchen Bedingungen oder für welche Gruppen kann sich Leistung unterscheiden? | Spracheingabe, Gerätetyp, Alter, Umgebung |
| Metriken | Woran wurde Leistung gemessen? | Trefferquote, Präzision, Recall |
| Evaluationsdaten | Mit welchen Daten wurde geprüft? | Separater Testsatz, der nicht zum Training genutzt wurde |
| Trainingsdaten | Mit welchen Beispielen hat das Modell gelernt? | Herkunft, Umfang, Zusammensetzung, Aufbereitung |
| Quantitative Analyse | Wie unterscheiden sich Ergebnisse zwischen relevanten Teilgruppen oder Bedingungen? | 95 % bei einer Eingabeart, 75 % bei einer anderen |
| Ethische Überlegungen | Welche Schäden, Benachteiligungen oder Interessenkonflikte sind möglich? | Schlechtere Empfehlungen für bestimmte Sprachstile |
| Grenzen und Empfehlungen | Was ist noch unsicher, und welche Schutzmaßnahmen sind nötig? | Nur beratend nutzen, regelmäßig neu testen, menschliche Prüfung |
Eine gute Model Card macht damit nicht nur Stärken sichtbar. Besonders wichtig sind Angaben zu Grenzen, Fehlern und nicht vorgesehenen Anwendungen.
Model Card, Dataset Card und System Card unterscheiden
Dokumentation kann sich auf verschiedene Ebenen beziehen. Das verhindert eine häufige Fehlvorstellung: Ein einzelnes Modell ist noch nicht das ganze KI-System.
| Dokument | Schwerpunkt | Typische Frage |
|---|---|---|
| Dataset Card | Datensatz | Woher kommen die Daten, wer ist enthalten und wer fehlt? |
| Model Card | Trainiertes Modell | Wofür ist das Modell gedacht, wie wurde es getestet und wo liegen Grenzen? |
| System Card | Gesamtsystem aus Modell, Oberfläche, Regeln, Datenflüssen und menschlichen Rollen | Wie funktioniert der Einsatz im realen Kontext und welche Schutzmaßnahmen greifen? |
Vom Modell zum System: Warum Kontext zählt
Ein KI-Modell kann in einem Test gut abschneiden und trotzdem in einem realen System problematisch eingesetzt werden. Zum System gehören zusätzlich zum Modell unter anderem Eingaben, Benutzeroberfläche, Schwellenwerte, Datenschutzregeln, Zuständigkeiten, menschliche Kontrolle, Beschwerdewege und laufende Überwachung.
Die Abbildung verdeutlicht einen Lebenszyklus: Zweck festlegen, Daten und Design prüfen, entwickeln und testen, über Freigabe entscheiden, Einsatz beobachten, auf Vorfälle reagieren und aus Änderungen lernen. Eine Model Card ist deshalb am stärksten, wenn sie aktuell gehalten und mit anderen Prüfungen verbunden wird.
Human Agency: Menschen bleiben handlungsfähig
Human Agency bedeutet hier: Menschen sollen Ziele setzen, Entscheidungen prüfen, Alternativen haben, widersprechen können und Verantwortung übernehmen. „Ein Mensch ist irgendwo beteiligt“ reicht nicht. Menschliche Aufsicht muss so gestaltet sein, dass die Person die Entscheidung tatsächlich verstehen, stoppen oder korrigieren kann.
Ein verantwortlicher Schuleinsatz würde deshalb nicht lauten: „Die KI hat entschieden, also gilt es.“ Sinnvoller wäre: „Die KI liefert einen Vorschlag; Du kannst ihn hinterfragen; eine zuständige Person prüft bei Bedarf; es gibt eine Alternative ohne KI.“
Daten bewerten: Warum 90 % nicht automatisch gut sind
Beim Maschinellen Lernen werden Daten häufig in unterschiedliche Bereiche aufgeteilt. Trainingsdaten dienen zum Lernen; getrennte Test- oder Evaluationsdaten sollen zeigen, wie gut das Modell auf bisher nicht gesehenen Beispielen funktioniert.
Wenn Training und Prüfung nicht sauber getrennt sind oder die Testdaten die reale Nutzung schlecht abbilden, kann eine Kennzahl einen falschen Eindruck vermitteln.
Eine einfache Rechnung
Eine fiktive Schule testet den Praktikums-Kompass an 80 Fällen. Als „Treffer“ gilt in diesem vereinfachten Beispiel, dass das vom Modell zuerst vorgeschlagene Berufsfeld mit dem später selbst gewählten Interessensfeld übereinstimmt.
| Testbedingung | Fälle | Treffer | Trefferquote |
|---|---|---|---|
| Standardsprachliche kurze Eingaben | 60 | 57 | 95 % |
| Eingaben mit Dialekt oder mehrsprachigen Ausdrücken | 20 | 15 | 75 % |
| Gesamt | 80 | 72 | 90 % |
Die Gesamtrechnung lautet: 72 von 80 Fällen sind Treffer. Das sind 90 %. Trotzdem zeigt die Aufteilung, dass die Leistung unter einer Testbedingung deutlich schwächer ist. Eine einzige Durchschnittszahl kann also relevante Unterschiede verdecken.
Wichtig: Die Daten sind didaktisch erfunden. Die Testbedingung beschreibt Sprachformen, nicht den Wert oder die Fähigkeiten einer Person.
Welche Kennzahl passt zum Risiko?
Nicht jede Aufgabe braucht dieselbe Kennzahl. Bei einem System, das riskante Inhalte markieren soll, kann es zum Beispiel besonders wichtig sein, möglichst wenige tatsächlich riskante Fälle zu übersehen. Bei einem System, das harmlose Inhalte nicht unnötig blockieren soll, ist eine andere Fehlerart bedeutsam.
Präzision fragt vereinfacht: Wie viele der markierten Fälle waren wirklich relevant? Recall fragt: Wie viele der tatsächlich relevanten Fälle wurden gefunden? Eine Model Card sollte nicht nur Zahlen nennen, sondern auch begründen, warum diese Kennzahlen zum vorgesehenen Einsatz passen.
Mathematischer Prüfgriff
Bei Prozentangaben fragst Du immer nach dem Nenner: 90 % von wie vielen Fällen? Außerdem prüfst Du, ob Teilgruppen sehr unterschiedlich groß sind. Eine kleine Gruppe mit wenigen Beispielen kann eine unsichere Schätzung liefern. Deshalb sind neben Prozentwerten auch Fallzahlen, Streuung oder Unsicherheitsangaben wichtig.
Fairness, Bias und Grenzen
Bias kann entstehen, wenn Daten, Auswahlverfahren, Messziele oder Einsatzbedingungen systematisch bestimmte Muster bevorzugen oder benachteiligen. Eine Model Card kann Bias nicht „wegdokumentieren“, aber sie kann sichtbar machen, wo getestet wurde, welche Unterschiede gefunden wurden und welche Schutzmaßnahmen geplant sind.
Das frei lizenzierte KI-Campus-Video zeigt anschaulich, warum unausgewogene oder verzerrte Trainingsdaten problematische Ergebnisse begünstigen können.
Transparenz ist mehr als „den Quellcode zeigen“. Für Lernende, Betroffene, Lehrkräfte oder Behörden können unterschiedliche Informationen wichtig sein: Zweck, Daten, Kennzahlen, Grenzen, Zuständigkeiten oder ein verständlicher Beschwerdeweg.
Fairness ist keine einzelne Zahl
Fairness hängt vom Kontext und von möglichen Schäden ab. Ein Modell kann insgesamt sehr genau sein und trotzdem unter bestimmten Bedingungen schlechter funktionieren. Gleichzeitig ist nicht jede Aufteilung in Personengruppen automatisch sinnvoll oder erlaubt. Datenschutz, Privatsphäre und die Gefahr neuer Stigmatisierung müssen mitbedacht werden.
Eine gute Prüfung fragt deshalb: Welche Unterschiede sind für den Einsatzzweck relevant? Welche Betroffenen könnten besonders belastet werden? Welche Daten dürfen überhaupt erhoben werden? Welche Schutzmaßnahme ist verhältnismäßig?
Model Cards als Quellen kritisch lesen
Eine Model Card wird häufig von den Personen oder Organisationen erstellt, die ein Modell bereitstellen. Das macht sie nützlich, aber nicht automatisch neutral. Behandle sie wie andere Quellen: Achte auf Autorenschaft, Datum, Version, Belege, Auslassungen und mögliche Interessen.
Der Fünf-Fragen-Check
| Schritt | Prüffrage | Warnsignal |
|---|---|---|
| Zweck | Ist klar beschrieben, wofür das Modell gedacht und nicht gedacht ist? | Nur allgemeine Aussagen wie „für alle Aufgaben geeignet“ |
| Daten | Sind Herkunft, Zusammensetzung und Grenzen von Trainings- und Testdaten nachvollziehbar? | „Mit vielen Daten trainiert“ ohne weitere Angaben |
| Test | Passen Kennzahlen und Testbedingungen zum realen Einsatz? | Nur eine Gesamtzahl ohne Fallzahl oder Teilanalysen |
| Grenzen | Werden Fehlerarten, Unsicherheiten, Bias und bekannte Schwächen genannt? | Nur Vorteile, keine Einschränkungen |
| Verantwortung | Ist klar, wer überwacht, entscheidet, korrigiert und Beschwerden bearbeitet? | Verantwortung wird der „KI“ zugeschrieben |
Der wichtigste Quellenkritik-Satz lautet: Dokumentation ist Evidenz über ein Modell – aber die Qualität der Dokumentation selbst muss ebenfalls geprüft werden.
Anwendungssituation: Der Praktikums-Kompass
Die folgende Model Card ist vollständig erfunden und dient als realistische Schulübung. Deine Schule überlegt, ein KI-System zur Berufsorientierung zu testen. Schülerinnen und Schüler beantworten zwölf Interessensfragen und können freiwillig einen kurzen Text ergänzen. Das Modell schlägt drei Berufsfelder vor.
Auszug aus der fiktiven Model Card
| Feld | Angabe |
|---|---|
| Name und Version | Praktikums-Kompass v1.2 |
| Vorgesehener Einsatz | Nicht bindende Orientierung für Gespräche zur Berufs- und Praktikumswahl |
| Nicht vorgesehener Einsatz | Keine automatische Zuweisung, Ablehnung, Notengebung oder Bewertung der Eignung einer Person |
| Trainingsdaten | 8.000 anonymisierte, für die Übung erfundene Interessenprofile mit zugeordneten Berufsfeldern; genaue regionale Verteilung ist nicht dokumentiert |
| Evaluationsdaten | 80 separate, didaktisch erfundene Testfälle |
| Gesamtergebnis | 90 % Trefferquote im vereinfachten Test |
| Teilanalysen | 95 % bei standardsprachlichen kurzen Eingaben; 75 % bei Eingaben mit Dialekt oder mehrsprachigen Ausdrücken |
| Bekannte Grenzen | Kleine Testmenge; unklare Übertragbarkeit auf andere Regionen; Freitext kann sprachliche Muster stärker gewichten als beabsichtigt |
| Schutzmaßnahme | Ausgabe nur als Gesprächsimpuls; keine automatische Entscheidung; Opt-out möglich; Beratungslehrkraft kann Vorschläge einordnen |
| Monitoring | Beschwerden und auffällige Fehlmuster werden gesammelt; erneuter Test vor einer neuen Version |
| Offene Information | Es fehlt eine nachvollziehbare Analyse, ob bestimmte soziale Gruppen systematisch schlechtere Vorschläge erhalten |
Deine Entscheidung als Schulkonferenz
Du sitzt in einer fiktiven Schulkonferenz. Drei Einsatzvarianten stehen zur Wahl.
| Variante | Einsatz | Erste Risikoeinschätzung |
|---|---|---|
| A | Das System weist Schülerinnen und Schüler automatisch einem Praktikumsbereich zu. | Sehr problematisch, weil dies ausdrücklich außerhalb des vorgesehenen Einsatzes liegt. |
| B | Das System zeigt drei unverbindliche Vorschläge; ein Beratungsgespräch und eine Alternative ohne KI bleiben möglich. | Unter Bedingungen prüfbar, aber offene Fairness- und Datenfragen müssen bearbeitet werden. |
| C | Die Schule veröffentlicht nur die 90-%-Zahl und erklärt das System damit für objektiv. | Problematisch, weil Teilanalysen, Grenzen und Verantwortlichkeiten ausgeblendet werden. |
Arbeitsauftrag: Entscheide Dich nicht nur für eine Variante. Formuliere zusätzlich zwei Bedingungen, die vor einem Schuleinsatz erfüllt sein müssten, und eine Information, die Du noch vom Anbieter verlangen würdest. Begründe jede Forderung mit einer Angabe aus der Model Card.
Risikoabwägung statt Ja-Nein-Denken
Risikoabwägung bedeutet, Nutzen, Wahrscheinlichkeit eines Fehlers, mögliche Schwere eines Schadens, Betroffenengruppen und Schutzmaßnahmen gemeinsam zu betrachten. Ein kleiner Fehler in einer Musikempfehlung ist anders zu bewerten als eine falsche Entscheidung über Bildungschancen. Deshalb kann dasselbe Modell in einem unverbindlichen Lernspiel vertretbar und in einer automatisierten Auswahlentscheidung unvertretbar sein.
Fächerübergreifende Bezüge
| Fach | Verbindung zum Thema | Lernhandlung |
|---|---|---|
| Informatik | Modelle, Trainings- und Testdaten, Versionen, Metriken, Systemgrenzen | Du unterscheidest Modell und System und prüfst technische Evidenz. |
| Deutsch | Sachtexte, Quellenkritik, sprachliche Präzision, Argumentation | Du erkennst Unterschied zwischen belegter Aussage, Einschränkung und Werbeformulierung. |
| Mathematik | Prozentrechnung, Stichproben, Teilgruppen, Unsicherheit | Du berechnest und vergleichst Kennzahlen und achtest auf Fallzahlen. |
| Technik | Lebenszyklus, Testen, Wartung, Monitoring, Fehlermanagement | Du bewertest, wie ein technisches System auch nach der Einführung kontrolliert wird. |
| Wirtschaft | Informationsasymmetrie, Beschaffung, Qualitätskosten, Haftungs- und Reputationsrisiken | Du prüfst, welche Informationen Käufer oder Schulen vor einer Entscheidung brauchen. |
| Geschichte | Entwicklung von Dokumentations- und Verantwortungsnormen bei neuen Technologien | Du ordnest Model Cards als Reaktion auf breiteren KI-Einsatz seit den 2010er-Jahren ein. |
| Ethik | Fairness, Schaden, Autonomie, Verantwortung, Verhältnismäßigkeit | Du wägest Interessen Betroffener und mögliche Schutzmaßnahmen ab. |
| Gemeinschaftskunde | Regulierung, Transparenz, Rechenschaft, Beteiligung und Widerspruch | Du untersuchst, warum demokratische Kontrolle Informationen und Zuständigkeiten benötigt. |
Gesellschaftliche Folgen, Wirtschaft und Recht
Model Cards können Informationsunterschiede verringern: Wer ein Modell entwickelt, weiß meist mehr über Daten, Tests und Grenzen als eine Schule, ein Unternehmen oder eine betroffene Person. Gute Dokumentation kann deshalb Beschaffungsentscheidungen verbessern, Risiken früher sichtbar machen und öffentliche Kontrolle erleichtern.
Gleichzeitig gibt es Grenzen. Eine ausführliche Model Card kann schlecht getestete Technik nicht automatisch sicher machen. Sie kann veraltet sein, wichtige Informationen auslassen oder durch günstige Formulierungen einen besseren Eindruck erzeugen. Deshalb braucht verantwortliche KI zusätzlich unabhängige Prüfung, geeignete Prozesse, Datenschutz, Monitoring und klare Zuständigkeiten.
In Europa enthält der EU AI Act je nach Art des KI-Systems oder Modells unterschiedliche Dokumentations- und Transparenzpflichten. Eine Model Card ist jedoch nicht automatisch die gesetzlich geforderte technische Dokumentation und ersetzt keine rechtliche Prüfung. Für Dich ist der wichtige Zusammenhang: Transparenz soll ermöglichen, Fähigkeiten und Grenzen besser zu verstehen, Entscheidungen zu überprüfen und Verantwortliche zur Rechenschaft zu ziehen.
Auch die UNESCO betont bei verantwortlicher KI Transparenz, Fairness, menschliche Aufsicht und Rechenschaft. Solche Prinzipien zeigen, warum Model Cards nicht nur ein Informatikthema sind, sondern auch Demokratie, Wirtschaft und Ethik betreffen.
Kurzer Blick in die Geschichte
2018 wurde der Model-Card-Ansatz als Vorabveröffentlichung vorgestellt, 2019 erschien die wissenschaftliche Veröffentlichung. Seitdem wurden Model Cards in verschiedenen technischen Plattformen und Organisationen aufgegriffen. Parallel entwickelten sich weitere Dokumentationsformen für Datensätze und KI-Systeme. Das zeigt einen Wandel: Mit wachsender gesellschaftlicher Bedeutung von KI wird nicht nur gefragt, ob ein Modell funktioniert, sondern auch für wen, unter welchen Bedingungen und mit welchen Folgen.
Typische Fehlvorstellungen korrigieren
| Fehlvorstellung | Korrektur |
|---|---|
| „Eine Model Card beweist, dass ein Modell sicher ist.“ | Nein. Sie dokumentiert Informationen und Evidenz, ist aber kein automatisches Sicherheitszertifikat. |
| „90 % Genauigkeit bedeutet 90 % Fairness.“ | Nein. Genauigkeit und Fairness sind unterschiedliche Fragen; Teilgruppen und Fehlerarten können stark abweichen. |
| „Wenn die Model Card Bias erwähnt, ist das Problem gelöst.“ | Nein. Sichtbarmachen ist ein Schritt; anschließend braucht es Prüfung, Schutzmaßnahmen und gegebenenfalls Verzicht auf den Einsatz. |
| „Eine Model Card erklärt jede einzelne KI-Antwort.“ | Nein. Sie beschreibt das Modell auf Dokumentationsebene; eine konkrete Ausgabe kann zusätzliche Erklärungen benötigen. |
| „Das Modell entscheidet, also trägt das Modell Verantwortung.“ | Nein. Verantwortung liegt bei Menschen und Organisationen, die entwickeln, bereitstellen, auswählen und einsetzen. |
| „Eine alte Model Card gilt für jede spätere Version.“ | Nein. Versionen können sich in Daten, Verhalten, Grenzen und Kennzahlen unterscheiden. |
| „Viele Trainingsdaten sind automatisch repräsentative Trainingsdaten.“ | Nein. Umfang allein sagt nichts über Herkunft, Abdeckung, Qualität oder Verzerrungen aus. |
| „Wenn eine Model Card lang ist, ist sie vollständig.“ | Nein. Umfang ersetzt keine relevanten, überprüfbaren Informationen. |
Transfer: Erkennst Du die Idee in neuen Situationen?
Übertrage den Fünf-Fragen-Check auf neue Fälle.
- Recycling-KI: Eine Kamera soll Müllarten erkennen. Welche Testbedingungen wären wichtig, wenn Licht, Verschmutzung und Verpackungsform variieren?
- Übersetzungs-KI: Ein Modell übersetzt Schultexte. Welche Angaben brauchst Du zu Sprachen, Dialekten, Fachbegriffen und Fehlern?
- Lernempfehlung: Ein System schlägt Übungen vor. Welche Grenze wäre wichtig, damit aus einer Empfehlung keine automatische Leistungsbewertung wird?
- Bewerbungsfilter: Ein Unternehmen möchte Bewerbungen vorsortieren. Warum steigen hier die Anforderungen an Fairness, Widerspruch und Dokumentation?
Wenn Du die Grundidee verstanden hast, kannst Du bei jedem Fall begründen, welche Informationen vor einer verantwortlichen Entscheidung fehlen.
Quellen und Vertiefung
- Mitchell et al. (2019): Model Cards for Model Reporting – wissenschaftlicher Ausgangspunkt des Konzepts
- Hugging Face: Model Cards – heutige technische Dokumentationspraxis für Modelle
- TensorFlow Responsible AI: Model Card Toolkit – Beispiel für strukturierte Model-Card-Erstellung; das zugehörige GitHub-Repository wurde 2024 archiviert
- Europäische Kommission: Dokumentationspflichten für allgemeine KI-Modelle – Zusammenhang von Transparenz und Regulierung
- UNESCO: Recommendation on the Ethics of Artificial Intelligence – Transparenz, Fairness, Rechenschaft und menschliche Aufsicht
- KI-Campus: Biases beim Maschinellen Lernen – frei lizenziertes Lernvideo zu verzerrten Trainingsdaten
Interaktive Aufgaben
Quiz: Teste Dein Wissen
Eine Schule möchte ein Modell außerhalb des in der Model Card genannten Einsatzzwecks automatisch über Praktikumsplätze entscheiden lassen. Was ist die beste erste Bewertung? (Der Einsatz ist kritisch, weil er außerhalb des dokumentierten Zwecks liegt) (!Die 90 Prozent Trefferquote macht jeden Einsatz zulässig) (!Eine Model Card gilt automatisch für alle Schulentscheidungen) (!Automatische Entscheidungen sind immer fairer als menschliche)
Ein Modell erreicht insgesamt 90 Prozent Trefferquote, aber unter einer relevanten Testbedingung nur 75 Prozent. Welche Schlussfolgerung ist am sinnvollsten? (Die Gesamtzahl reicht nicht aus und die Teilanalyse muss berücksichtigt werden) (!Die 75 Prozent können ignoriert werden, weil der Durchschnitt höher ist) (!Das Modell ist damit automatisch verboten) (!Die kleinere Zahl beweist, dass alle Trainingsdaten falsch sind)
Warum ist die Versionsangabe in einer Model Card wichtig? (Sie zeigt, auf welchen Modellstand sich die Dokumentation bezieht) (!Sie ersetzt die Beschreibung der Trainingsdaten) (!Sie beweist, dass das Modell fehlerfrei ist) (!Sie bestimmt allein die rechtliche Zulässigkeit)
Eine Model Card bezeichnet ein Modell als fair, nennt aber keine Teilanalysen oder Prüfkriterien. Wie solltest Du reagieren? (Die Fairnessbehauptung als unzureichend belegt prüfen) (!Die Aussage wegen des Wortes fair akzeptieren) (!Nur die Länge der Model Card bewerten) (!Annehmen, dass Fairness dasselbe wie Genauigkeit ist)
Was unterscheidet ein KI-Modell von einem KI-System? (Ein System umfasst zusätzlich Einsatzkontext, Datenflüsse, Oberfläche, Regeln und menschliche Rollen) (!Ein Modell enthält immer automatisch alle organisatorischen Regeln) (!Ein System besteht nur aus einer längeren Model Card) (!Zwischen Modell und System gibt es keinen Unterschied)
Wozu dienen getrennte Evaluationsdaten vor allem? (Sie sollen die Leistung auf nicht zum Training verwendeten Beispielen prüfen) (!Sie sollen nur die Dateigröße des Modells erhöhen) (!Sie machen jede menschliche Prüfung überflüssig) (!Sie garantieren automatisch gleiche Leistung für alle Gruppen)
Welche Gestaltung stärkt Human Agency bei einer schulischen KI-Empfehlung am besten? (Die Empfehlung bleibt unverbindlich und kann geprüft, abgelehnt oder korrigiert werden) (!Die KI entscheidet endgültig und ohne Widerspruch) (!Nur die Anbieterfirma darf Ergebnisse sehen) (!Alle Schülerinnen und Schüler müssen dieselbe Empfehlung akzeptieren)
Welche Aussage zum EU AI Act und Model Cards ist am treffendsten? (Model Cards können Transparenz unterstützen, ersetzen aber nicht automatisch gesetzlich geforderte Dokumentation) (!Jede Model Card ist automatisch ein amtliches EU Zertifikat) (!Der EU AI Act verlangt für jedes KI Modell exakt dieselbe Model Card) (!Mit einer Model Card entfallen Datenschutz und Aufsicht)
Welche Frage gehört zur Quellenkritik einer Model Card? (Wer hat sie erstellt, für welche Version gilt sie und welche Belege fehlen) (!Welche Schriftart gefällt mir am besten) (!Wie viele Werbewörter enthält die Produktseite insgesamt) (!Ob der Modellname modern klingt)
Welche Aussage beschreibt die wichtigste Grenze einer Model Card? (Sie dokumentiert ein Modell, kann aber reale Nutzung, Risiken und Verantwortung nicht allein lösen) (!Sie erklärt garantiert jede einzelne Ausgabe vollständig) (!Sie verhindert automatisch alle Formen von Bias) (!Sie macht Testdaten und Monitoring überflüssig)
Memory
| Intended Use | vorgesehener Einsatz |
| Out-of-Scope | ausgeschlossener Einsatz |
| Trainingsdaten | Lerngrundlage |
| Evaluationsdaten | Prüfdaten |
| Metrik | Leistungsmaß |
| Fairness | Benachteiligungsprüfung |
| Version | Modellstand |
| Human Oversight | menschliche Aufsicht |
Drag and Drop
| Ordne die richtigen Begriffe zu. | Thema |
|---|---|
| Zweck | Wofür soll das Modell eingesetzt werden? |
| Datenbasis | Womit hat das Modell gelernt? |
| Evaluation | Wie wurde das Modell getestet? |
| Leistung | Welche Kennzahlen wurden gemessen? |
| Grenzen | Wo kann das Modell scheitern? |
| Fairness | Für wen oder unter welchen Bedingungen unterscheidet sich die Leistung? |
| Verantwortung | Wer entscheidet, überwacht und korrigiert? |
...
Kreuzworträtsel
| Transparenz | Welches Prinzip verlangt nachvollziehbare Informationen über Zweck, Leistung und Grenzen? |
| Version | Welcher Begriff zeigt, auf welchen Modellstand sich eine Dokumentation bezieht? |
| Fairness | Wie heißt das Ziel, ungerechtfertigte Benachteiligung zu vermeiden? |
| Metrik | Wie heißt ein messbares Leistungsmaß für ein Modell? |
| Training | Wie heißt die Phase, in der ein Modell aus Beispieldaten lernt? |
| Aufsicht | Welcher Begriff ergänzt menschliche Kontrolle zu menschlicher ...? |
LearningApps
Lückentext
Offene Aufgaben
Leicht
- Model-Card-Detektiv: Suche in einem gegebenen Model-Card-Auszug fünf Stellen, die zu Zweck, Daten, Test, Grenzen und Verantwortung passen, und markiere eine fehlende Information.
- Werbesatz prüfen: Formuliere aus dem Satz „Unsere KI ist objektiv und zuverlässig“ drei überprüfbare Fragen, die aus einer Werbeaussage eine prüfbare Behauptung machen.
- Kennzahlen-Check: Erkläre mit eigenen Worten, warum 72 Treffer von 80 Fällen zwar 90 Prozent ergeben, diese Zahl aber Unterschiede zwischen Testbedingungen verdecken kann.
- Alltagsvergleich: Vergleiche eine Model Card mit einem Beipackzettel, Produktdatenblatt oder Energielabel und nenne eine sinnvolle Gemeinsamkeit sowie eine wichtige Grenze des Vergleichs.
Standard
- Modellkarten-Entwurf: Erstelle für eine fiktive Recycling-KI eine kurze Model Card mit Zweck, Out-of-Scope-Nutzung, Trainingsdaten, Test, zwei Risiken und einer menschlichen Schutzmaßnahme.
- Fairness-Audit: Entwickle für den Praktikums-Kompass drei zusätzliche Testbedingungen, die seine Leistung fairer und realistischer prüfen würden, ohne unnötig personenbezogene Daten zu sammeln.
- Rollenspiel Schulkonferenz: Übernehmt die Rollen Schülerschaft, Lehrkraft, Schulleitung und Anbieter. Entscheidet über Variante B und protokolliert, welche Belege jede Rolle vor einer Zustimmung verlangt.
- Infografik Model Cards: Gestalte eine eigene Grafik mit dem Fünf-Fragen-Check und ergänze zu jeder Frage ein Warnsignal, das auf schwache Dokumentation hinweist.
Schwer
- Vergleich realer Model Cards: Vergleiche zwei öffentlich zugängliche Model Cards nach denselben Kriterien. Bewerte nicht, welches Modell „besser“ ist, sondern welche Dokumentation eine verantwortliche Entscheidung besser unterstützt und warum.
- Beschaffungskriterien für Schulen: Formuliere einen Kriterienkatalog, mit dem eine Schule vor dem Kauf oder Einsatz eines KI-Systems Dokumentation, Datenschutz, Fairness, Monitoring, Widerspruch und Zuständigkeiten prüfen kann.
- Mini-Studie zur Kennzahlwirkung: Entwirf zwei unterschiedliche Teilgruppenverteilungen, die denselben Gesamtdurchschnitt ergeben. Zeige rechnerisch, wie dadurch ein unterschiedliches Fairnessbild entstehen kann, und erkläre die Grenze Deiner Simulation.
- Politikbrief Verantwortung: Schreibe einen kurzen Brief an eine fiktive kommunale Schulbehörde. Begründe, warum Model Cards nützlich sind, warum sie allein nicht genügen und welche zusätzlichen Kontrollmechanismen Du für folgenreiche KI-Anwendungen forderst.
|
|
Lernkontrolle
- Transferfall Übersetzungsmodell: Du erhältst eine Model Card mit hoher Gesamtleistung, aber ohne Angaben zu Dialekten und Fachsprache. Entscheide, ob das Modell für eine mehrsprachige Schulzeitung eingesetzt werden sollte, und begründe Deine Entscheidung mit mindestens drei Kriterien.
- Zahlen und Folgen: Zwei Modelle haben dieselbe Gesamtgenauigkeit. Modell A macht Fehler gleichmäßig, Modell B macht deutlich mehr Fehler unter einer bestimmten relevanten Bedingung. Erkläre, warum die gleiche Durchschnittszahl zu unterschiedlichen Einsatzentscheidungen führen kann.
- System neu gestalten: Ein eigentlich gut getestetes Modell wird in einer App ohne Widerspruchsmöglichkeit und ohne menschliche Kontrolle eingesetzt. Entwickle drei Änderungen am System, die Human Agency und Sicherheit stärken.
- Quellenkritik: Eine Anbieter-Model-Card nennt viele Vorteile, aber weder Testdaten noch Grenzen. Analysiere, welche Aussagen Du akzeptieren kannst, welche offen bleiben und welche zusätzlichen Belege Du verlangen würdest.
- Interessenkonflikt: Eine Schule möchte Zeit sparen, Schülerinnen und Schüler wünschen Mitbestimmung, der Anbieter möchte schnelle Einführung. Entwickle eine Entscheidung, die Nutzen und Risiken abwägt, und benenne, wer welche Verantwortung trägt.
- Fehlvorstellung korrigieren: Widerlege die Aussage „Wenn eine KI eine Model Card hat, kann sie überall sicher eingesetzt werden“ an einem neuen selbst gewählten Beispiel.
Lernnachweis
Für einen überzeugenden Lernnachweis solltest Du zeigen, dass Du die Idee einer Model Card nicht nur wiedergeben, sondern anwenden kannst.
- Erklären: Du kannst den Zweck einer Model Card in eigenen Worten darstellen und sie von Dataset Card und System Card unterscheiden.
- Analysieren: Du findest Angaben zu Zweck, Daten, Evaluation, Grenzen, Fairness und Verantwortung und erkennst relevante Lücken.
- Rechnen: Du kannst einfache Trefferquoten und Teilgruppenwerte nachvollziehen und erklären, warum der Nenner und die Fallzahl wichtig sind.
- Bewerten: Du kannst Nutzen und Risiken eines Einsatzes in einem konkreten Kontext gegeneinander abwägen.
- Begründen: Du stützt eine Entscheidung auf dokumentierte Evidenz und benennst Unsicherheiten.
- Verantwortung sichern: Du formulierst Anforderungen an menschliche Aufsicht, Widerspruch, Monitoring und Aktualisierung.
- Fehlvorstellungen korrigieren: Du kannst erklären, warum Dokumentation kein Qualitätssiegel, keine Fairnessgarantie und keine vollständige Erklärung jeder Einzelentscheidung ist.
Reflexion und Selbstkontrolle
Kehre zur Einstiegsfrage zurück: „90 % Trefferquote – objektiv, fair und zuverlässig.“ Schreibe nun drei Sätze: Welche Aussage kannst Du mit den vorliegenden Informationen prüfen? Welche Aussage bleibt unbelegt? Welche zusätzliche Information würdest Du zuerst verlangen? Vergleiche Deine Antwort mit Deiner Diagnose vom Anfang.
Danach vervollständigst Du den Satz: „Ich würde einer KI-Empfehlung eher vertrauen, wenn …“ Ergänze mindestens zwei Bedingungen, die sich auf Evidenz und Verantwortung beziehen, nicht auf Markenname oder Werbeversprechen.
OERs zum Thema
Zum technischen Hintergrund von Model Cards gehört Maschinelles Lernen. Der folgende Wikipedia-Artikel bietet einen freien Einstieg in Modelle, Training und Evaluation:
- KI-Campus-Video zu Bias und Trainingsdaten – frei lizenziertes Vertiefungsmedium
- Wikimedia-Commons-Grafik zu Trainings- und Testdaten – frei nutzbare Visualisierung
- Wikimedia-Commons-Grafik zu Präzision und Recall – frei nutzbare Visualisierung
- Wikimedia-Commons-Grafik zum KI-Lebenszyklus – frei lizenzierte Systemperspektive
Verknüpfte Lernbereiche