KI-Kompetenz – Der PISA-MAIL-Abschlusscheck
KI-Kompetenz – Der PISA-MAIL-Abschlusscheck
KI-Kompetenz – Der PISA-MAIL-Abschlusscheck
Einleitung
Dieser aiMOOC ist eine kompetenzorientierte Standortbestimmung für Klasse 10 und für etwa 45–90 Minuten ausgelegt. Im Mittelpunkt steht nicht Begriffswiedergabe, sondern begründetes Handeln: Du sollst digitale Inhalte und KI-Ausgaben prüfen, Quellen bewerten, Daten einordnen, Systemfolgen abschätzen, Regeln mitgestalten und Dein Vorgehen auf neue Fälle übertragen.
Der Kurs orientiert sich am öffentlich zugänglichen Rahmen zu PISA 2029 Media and Artificial Intelligence Literacy. Er ist kein offizieller PISA-Test, sondern eine schulische, PISA-MAIL-orientierte Lern- und Diagnosesituation. Ergänzend werden aktuelle Leitideen zu KI-Kompetenz, Human Agency, Transparenz, Fairness, Datenschutz, Sicherheit und verantwortlicher Gestaltung aufgegriffen.
Fächerübergreifende Bezüge
| Fach | Schwerpunkt |
|---|---|
| Informatik | Daten, Modelle, Ranking, Rückkopplung, Sicherheit |
| Mathematik | Fehlerraten, Gruppenvergleiche, Kennzahlen, Unsicherheit |
| Technik | Systemgrenzen, Zuverlässigkeit, Fehlertoleranz |
| Deutsch | Quellenkritik, Argumentation, Framing, Belege |
| Wirtschaft | Plattformanreize, Arbeitswelt, Geschäftsmodelle |
| Geschichte | Quellenkritik, Manipulation, Kontextualisierung |
| Ethik | Fairness, Verantwortung, Autonomie, Schaden und Nutzen |
| Gemeinschaftskunde | Regeln, Rechte, demokratische Öffentlichkeit, Governance |
Aktivierung und Diagnose
Ein Beitrag in einer Klassengruppe behauptet: „80 % aller Ausbildungsplätze verschwinden bis 2030 durch KI. Eine neue Studie beweist es. Unser KI-Assistent bestätigt die Zahl. Teilt das sofort!“ Ein Link zur Studie fehlt.
- Was würdest Du als Nächstes tun?
- Welche Information fehlt Dir?
- Welche vorschnelle Handlung würdest Du vermeiden?
Eine starke erste Reaktion trennt Behauptung, Beleg und Schlussfolgerung. Reichweite, Tonfall und eine selbstbewusste KI-Antwort sind keine ausreichenden Wahrheitsbeweise.
KI als soziotechnisches System
Ein KI-System besteht nicht nur aus einem Modell. In der Praxis gehören Menschen, Datenquellen, Regeln, Benutzeroberflächen, Ziele, Anreize, gesetzliche Vorgaben und Rückmeldeschleifen dazu.
Systemdesign
| Element | Leitfrage |
|---|---|
| Ziel | Welches Problem soll gelöst werden? |
| Daten | Welche Daten werden genutzt und welche fehlen? |
| Modell oder Regel | Was wird erzeugt, vorhergesagt oder sortiert? |
| Schnittstelle | Wie werden Quellen, Unsicherheit und Auswahl sichtbar? |
| Menschliche Kontrolle | Wer darf prüfen, korrigieren oder stoppen? |
| Rückkopplung | Wie beeinflusst Nutzung spätere Ergebnisse? |
| Governance | Welche Regeln, Zuständigkeiten und Beschwerdewege gelten? |
MAIL-Transferschema
Das folgende Schema ist eine Lernhilfe dieses aiMOOCs und kein offizielles OECD-Schema.
| Buchstabe | Prüffrage |
|---|---|
| M – Menschen und Macht | Wer entscheidet, wer profitiert und wer trägt Risiken? |
| A – Auftrag und Annahmen | Welches Ziel wird verfolgt und welche Annahmen stecken darin? |
| I – Informationen und Indikatoren | Welche Quellen, Daten und Kennzahlen tragen die Entscheidung? |
| L – Leitplanken und Lernschleifen | Welche Regeln, Kontrollen, Rückmeldungen und Verbesserungen gibt es? |
Evaluation
Eine einzige Kennzahl reicht selten. Du musst fragen, welche Fehlerarten wichtig sind, für wen das System schlechter funktioniert und wie stabil es bei neuen Fällen bleibt.
Ein Praktikums-Empfehlungssystem wird mit zwei gleich großen Testgruppen geprüft. In jeder Gruppe gelten 20 Angebote nach unabhängiger menschlicher Prüfung als passend.
| Gruppe | Passend | Vom System erkannt | Erkennungsrate |
|---|---|---|---|
| A | 20 | 18 | 90 % |
| B | 20 | 12 | 60 % |
Die Differenz ist ein Warnsignal, aber noch kein Beweis für die Ursache. Zu prüfen wären Gruppendefinition, Datenqualität, Repräsentativität, Modellverhalten und die menschliche Bewertungsrubrik.
Governance und Folgenabschätzung
Governance umfasst Zuständigkeiten, Dokumentation, Datenschutz, menschliche Kontrolle, Sicherheitsmaßnahmen, Qualitätsprüfungen, Beschwerdewege und Monitoring. Je größer eine mögliche Folge für Menschen ist, desto höher müssen Belegqualität, Transparenz und wirksame menschliche Kontrolle sein.
| Bereich | Verantwortlichere Gestaltung |
|---|---|
| Datenschutz | nur notwendige Daten, klare Zwecke und Löschfristen |
| Transparenz | Quellen, Aktualität und wichtige Auswahlkriterien sichtbar machen |
| Kontrolle | menschliche Prüfung bei folgenreichen Fällen |
| Widerspruch | einfacher Korrektur- und Beschwerdeweg |
| Monitoring | Fehler und Gruppenunterschiede regelmäßig prüfen |
| Verantwortung | zuständige Menschen und Institutionen benennen |
Quellenkritik bei KI-Ausgaben
Eine überzeugend formulierte KI-Antwort ist nicht automatisch korrekt. Prüfe, ob genannte Quellen existieren, zur Aussage passen, aktuell genug sind und die Schlussfolgerung wirklich tragen.
- Behauptung isolieren: Was genau soll überprüft werden?
- Ursprungsquelle finden: Gibt es Originalstudie, Originaldatensatz oder Originalaussage?
- Kontext prüfen: Stimmen Datum, Stichprobe, Begriffe und Einschränkungen?
- Unabhängig gegenprüfen: Gibt es eine weitere belastbare Quelle oder Gegenposition?
Bilder und Deepfakes
Technische Auffälligkeiten können Hinweise liefern, sind aber keine sichere alleinige Methode. Stärker ist die Kombination aus Herkunft, Kontext, Originalquelle, unabhängiger Bestätigung und gegebenenfalls Herkunftsnachweisen.
Realistische Anwendungssituation: PraktikumRadar
Die folgende Situation ist vollständig simuliert. Eine Schule testet ein Portal, das Praktikumsangebote sammelt, sortiert und mit einem KI-Assistenten zusammenfasst.
Material A: Suchergebnisse
| Rang | Treffer | Hinweise |
|---|---|---|
| 1 | Forschungsbericht Arbeit & Technik 2026 | Autorenteam genannt, Methodik verlinkt, differenzierte Aussagen |
| 2 | Trendportal „80 % der Ausbildungsplätze bald weg!“ | kein Autor, keine Originalstudie, starke Alarmbegriffe |
| 3 | Statistik-Dashboard Arbeitsaufgaben | Datenstand und Definitionen sichtbar, Aussagen über Tätigkeiten statt ganze Berufe |
| 4 | Kurzvideo „KI ersetzt uns alle“ | hohe Reichweite, kein Quellenlink, dramatische Musik |
Material B: KI-Ausgabe
| KI-Assistent |
|---|
| „Bis 2030 werden 80 % der Ausbildungsplätze durch KI ersetzt. Das bestätigt der Forschungsbericht Arbeit & Technik 2026. Deshalb sollten Schülerinnen und Schüler vor allem KI-Berufe wählen. Die Entwicklung ist nahezu sicher.“ |
Im simulierten Forschungsbericht steht diese 80-%-Behauptung nicht. Die KI verbindet eine zugespitzte Aussage aus einem anderen Treffer mit einer seriöser wirkenden Quelle.
Material C: Social-Media-Beitrag
| Beitrag | Signale |
|---|---|
| „80 % der Ausbildungsplätze verschwinden. PraktikumRadar bestätigt es. Teile das!“ | hohe Reichweite, emotionales Bild, keine Quelle, kein Datum |
Unterscheide zwischen nicht belegt, wahrscheinlich falsch und nachweislich falsch.
Material D: Testdaten
Gruppe A hat ein vollständiges Interessenprofil, Gruppe B nur wenige freiwillige Angaben. Die Erkennungsrate liegt bei 90 % gegenüber 60 %. Eine einfache Reaktion wäre, mehr Daten zu verlangen. Verantwortlicher wäre zu prüfen, ob ein datensparsamer Modus, eine neutrale Standardsortierung oder manuelle Suche ähnliche Qualität ermöglicht.
Material E: Governance-Steckbrief
| Frage | Teststand |
|---|---|
| Speicherung | Name, Klasse, Interessen, Klickverlauf, grober Wohnort, Freitexte |
| Löschfrist | drei Jahre |
| Quellenanzeige | teilweise |
| Ranking-Erklärung | nein |
| Widerspruchsweg | nein |
| Gruppenvergleich | einmal vor Pilotierung |
| Korrektur durch Lehrkraft | möglich, aber nicht dokumentiert |
Audit-Entscheidung
- Zweck: Welchen sinnvollen Nutzen könnte das System haben?
- Belege: Welche zwei Befunde sind besonders wichtig?
- Risiken: Welche zwei Schäden sind plausibel?
- Bedingungen: Welche drei Änderungen sind nötig?
- Entscheidung: Freigeben, nur nach Änderungen pilotieren oder vorerst nicht einsetzen? Begründe.
Selbstkontrolle
| Kriterium | Stark erfüllt, wenn ... |
|---|---|
| Systemblick | Ziel, Daten, Modell, Interface, Menschen und Rückkopplung verbunden werden |
| Quellenkritik | Behauptung, Quelle, Kontext und Schlussfolgerung getrennt geprüft werden |
| Datenbewertung | Kennzahlen plus Unsicherheit und Gruppendefinition betrachtet werden |
| Fairness | Unterschiede erkannt und alternative Gestaltung vorgeschlagen wird |
| Governance | Rollen, Dokumentation, Kontrolle, Widerspruch und Monitoring zusammenspielen |
| Transfer | Regeln auf einen neuen Fall übertragen und ihre Grenzen benannt werden |
Reflexion über KI und Lernen
Ein KI-Werkzeug kann ein Produkt schneller erzeugen, ohne dass Deine eigene Kompetenz automatisch wächst. Sinnvoller ist ein Einsatz, bei dem Du Ziele setzt, Gegenargumente suchst, Quellen prüfst und die endgültige Begründung selbst verantwortest.
Transfer auf neue Fälle
Übertrage das MAIL-Transferschema auf ein KI-System, das automatisch auffällige Prüfungsverläufe markiert. Prüfe Menschen und Macht, Auftrag und Annahmen, Informationen und Indikatoren sowie Leitplanken und Lernschleifen.
Interaktive Aufgaben
Quiz: Teste Dein Wissen
Ein viraler Beitrag nennt eine dramatische Zahl, verlinkt aber keine Studie. Was ist der stärkste erste Schritt? (Die genaue Behauptung isolieren und nach Ursprungsquelle sowie unabhängiger Bestätigung suchen) (!Die Zahl übernehmen, wenn der Beitrag viele Reaktionen hat) (!Die Zahl von einer zweiten KI wiederholen lassen) (!Den Beitrag sofort als Lüge bezeichnen, ohne weitere Prüfung)
Eine KI nennt eine seriös wirkende Quelle, aber die behauptete Zahl steht dort nicht. Wie solltest Du handeln? (Die Behauptung als nicht belegt behandeln und den Widerspruch dokumentieren) (!Die Behauptung akzeptieren, weil die Quelle existiert) (!Nur den Namen der Quelle übernehmen) (!Die Zahl runden, damit sie glaubwürdiger wirkt)
Ein System erkennt in Gruppe A 18 von 20 passenden Fällen und in Gruppe B 12 von 20. Welche Schlussfolgerung ist am besten begründet? (Es gibt eine deutliche Leistungsdifferenz, deren Ursache untersucht werden sollte) (!Das System ist fair, weil beide Gruppen gleich groß sind) (!Gruppe B sollte zwingend mehr persönliche Daten preisgeben) (!Die Zahlen beweisen absichtliche Diskriminierung)
Ein Empfehlungssystem sortiert Inhalte vor allem nach Klickrate. Welche Aussage ist am wichtigsten? (Klickrate misst Aufmerksamkeit und ist nicht automatisch ein Maß für Wahrheit oder Qualität) (!Klickrate ist immer objektiver als menschliche Bewertung) (!Oft geklickte Inhalte sind automatisch gesellschaftlich wichtig) (!Hohe Klickrate macht Quellenprüfung unnötig)
Eine Schul-KI speichert Klickverläufe drei Jahre lang, obwohl sie nur kurzfristige Empfehlungen erstellt. Welche Verbesserung ist am sinnvollsten? (Nur notwendige Daten erheben und eine begründete kurze Löschfrist festlegen) (!Alle Daten dauerhaft speichern) (!Die Speicherung vor Lernenden verbergen) (!Zusätzlich private Nachrichten sammeln)
Ein KI-System markiert mögliches Fehlverhalten bei Prüfungen. Eine Markierung könnte zu einer Sanktion führen. Welche Governance ist angemessen? (Vor jeder Sanktion menschlich prüfen, Belege offenlegen und Widerspruch ermöglichen) (!Jede Markierung sofort als bewiesenes Fehlverhalten behandeln) (!Nur die technische Genauigkeit veröffentlichen) (!Die Entscheidung vollständig dem System überlassen)
Ein Bild soll ein politisch wichtiges Ereignis zeigen. Was ist die beste Prüfung? (Herkunft, Kontext und unabhängige Originalquellen prüfen und technische Hinweise ergänzend nutzen) (!Nur auf Hände und Gesichter schauen) (!Dem Bild glauben, wenn es hochauflösend ist) (!Das Bild automatisch für falsch halten, sobald KI möglich wäre)
Du sollst mit KI einen argumentativen Deutschtext vorbereiten. Welche Nutzung fördert Deine Urteilskompetenz am stärksten? (Die KI um Gegenargumente bitten, Belege selbst prüfen und den Text eigenständig formulieren) (!Die KI den fertigen Text schreiben lassen und ungeprüft abgeben) (!Nur die längste KI-Antwort auswählen) (!Die KI bitten, Quellen zu erfinden)
Ein KI-System wurde nur mit einfachen typischen Testfällen geprüft. Was fehlt? (Repräsentative, schwierige und grenzwertige Fälle sowie Prüfungen auf Gruppenunterschiede und Robustheit) (!Ein auffälligeres Logo) (!Mehr Werbetexte) (!Mehr Funktionen ohne neue Tests)
Du bekommst ein völlig neues KI-Werkzeug. Womit beginnt ein guter Transfer? (Zweck, betroffene Menschen, Daten, Belege, mögliche Folgen und Leitplanken systematisch prüfen) (!Nur prüfen, ob die Oberfläche ähnlich aussieht) (!Annehmen, dass neue Systeme automatisch besser sind) (!Nur die Geschwindigkeit der Antwort messen)
Memory
| Human Agency | menschliche Entscheidungshoheit |
| Quellenkritik | Aussagen anhand von Belegen prüfen |
| Datensparsamkeit | nur notwendige personenbezogene Daten nutzen |
| Fairnessprüfung | Wirkungen für Gruppen vergleichen |
| Provenienz | Herkunft eines Inhalts nachvollziehen |
| Monitoring | Systemverhalten regelmäßig beobachten |
Drag and Drop
| Ordne die richtigen Begriffe zu. | Thema |
|---|---|
| Quellenabgleich | Behauptung aus KI-Ausgabe |
| Testfälle | Systemqualität |
| Widerspruchsweg | Governance |
| Datenminimierung | Privatsphäre |
| Folgenabschätzung | Einführung neuer KI-Funktion |
Kreuzworträtsel
| Quellenkritik | Wie heißt die systematische Prüfung von Herkunft und Belastbarkeit einer Aussage? |
| Transparenz | Welcher Begriff bezeichnet nachvollziehbare Offenlegung wichtiger Systeminformationen? |
| Fairness | Welcher Begriff fragt nach nicht ungerecht benachteiligender Behandlung? |
| Datenschutz | Welcher Begriff umfasst verantwortlichen Umgang mit personenbezogenen Daten? |
| Modellkarte | Wie heißt eine kompakte Dokumentation zu Zweck und Grenzen eines Modells? |
| Verantwortung | Welcher Begriff beschreibt die Pflicht, für Entscheidungen einzustehen? |
LearningApps
Lückentext
Offene Aufgaben
Leicht
- Quellenkritik: Prüfe zwei Tatsachenbehauptungen aus einer KI-Antwort an Originalquellen.
- Framing: Formuliere dieselbe Information alarmistisch und nüchtern und vergleiche die Wirkung.
- Datensparsamkeit: Entwirf eine minimale Datenauswahl für eine schulische Empfehlungsfunktion.
- Bildkompetenz: Beschreibe bei einem Commons-Bild, was es belegt und was nicht.
Standard
- Systemdesign: Zeichne ein KI-System mit Datenquelle, Modell, Oberfläche, menschlicher Kontrolle und Rückkopplung.
- Evaluation: Entwickle sechs Testfälle, darunter Grenzfälle, und begründe passende Kennzahlen.
- Fairness: Erstelle eine kleine Tabelle mit zwei Gruppen und unterschiedlichen Fehlerraten und interpretiere sie vorsichtig.
- Governance: Formuliere Regeln für Transparenz, Datenschutz, Verantwortung und Widerspruch.
Schwer
- Folgenabschätzung: Bewerte eine KI-gestützte Prüfungsaufsicht inklusive möglichem Verzicht auf das System.
- Algorithmische Systeme: Vergleiche ein regelbasiertes Verfahren mit einem lernenden KI-System für dieselbe Aufgabe.
- Medienkompetenz: Erstelle ein Aufklärungsmedium zum Unterschied zwischen nicht belegt, wahrscheinlich falsch und nachweislich falsch.
- Transfer: Übertrage das MAIL-Schema auf einen neuen KI-Fall aus Schule, Wirtschaft, Verwaltung oder Alltag.
|
|
Lernkontrolle
- Systemanalyse: Analysiere einen KI-Chatbot für Jugendbeteiligung als vollständiges soziotechnisches System.
- Abwägung: Entscheide über den Einsatz eines Systems, das im Durchschnitt gut arbeitet, aber bei einer kleinen Gruppe schwere Fehler macht.
- Quellenprüfung: Entwirf einen Zehn-Minuten-Prüfplan für eine KI-Zusammenfassung ohne direkte Belegstellen.
- Governance: Bewerte eine kostenlose Schul-KI im Austausch gegen umfangreiche Nutzungsdaten.
- Folgenabschätzung: Erkläre, wie ein Empfehlungssystem gleichzeitig Erfolge erhöhen und Wahlvielfalt verringern kann.
- Transfer: Wende das MAIL-Transferschema auf einen neuen Fall an und benenne die Grenzen des Schemas.
Lernnachweis
Wichtig sind eine nachvollziehbare Trennung von Behauptung, Quelle, Daten und Schlussfolgerung, ein Systembild, eine quantitative Auswertung, die Begründung relevanter Fehlerarten, Fairness- und Datenschutzabwägung, konkrete Governance-Maßnahmen, eine Folgenabschätzung, eine begründete Entscheidung und Transfer auf einen neuen Fall.
OERs zum Thema
Weiterführende Grundlagen:
- OECD: PISA 2029 Media and Artificial Intelligence Literacy
- OECD und Europäische Kommission: Empowering Learners for the Age of AI
- Europäische Kommission: AI literacy
- Europäische KI-Verordnung
Verknüpfte Lernbereiche