Die Druckversion wird nicht mehr unterstützt und kann Darstellungsfehler aufweisen. Bitte aktualisiere deine Browser-Lesezeichen und verwende stattdessen die Standard-Druckfunktion des Browsers.

aiMOOC

KI-Systeme testen und zuverlässig überwachen

QR-Code

Einleitung

Ein KI-Modell ist erst dann zuverlässig, wenn es nicht nur in einem einmaligen Test, sondern bei neuen Varianten und über seinen gesamten Einsatzzeitraum überprüfbar bleibt. Du entwickelst hier einen Monitoringplan mit Drift-Indikatoren, Alarmprüfung und Rückfallregel für eine vollständig fiktive Variantenfertigung. Es gibt Teilemangel, Qualitätsabweichungen und begrenzte Prüfkapazität. Die KI gibt in unserer Papiersimulation ausschließlich Empfehlungen ab; kein Schritt steuert eine Maschine, ersetzt eine Fachprüfung oder erteilt eine Sicherheitsfreigabe.

Zielgruppe: Auszubildende im 3. bis 4. Ausbildungsjahr. Voraussetzungen: Z1 bis Z3 des vorausgehenden Lernwegs oder vergleichbare Kenntnisse über Daten, Fertigungsabläufe und KI-Grundlagen. Arbeitsauftrag: Stimm dein Projektziel mit Ausbildenden ab; verwende ausschließlich die hier genannten synthetischen Falldaten. Lernpfad: kurzer Rückblick → geführte Rechnung → eigener Varianten- und Drift-Test → begründete Entscheidung → dokumentierter Lernnachweis. Bearbeitung ist mit Papier, Taschenrechner und einer kostenlosen Tabellenkalkulation offline möglich.

Grundlage zum Wiederholen: Vorhandener MOOCwiki-Lernkurs. Die Seite war beim Quellenabruf nicht erreichbar; prüfe den konkreten Titel und die Anschlussfähigkeit am Lernort. Aktivere nur drei Fragen: Welche Entscheidung gibt das Modell ab? Welche Daten nutzt es? Wer überprüft die Folgen? Hier liegt der neue Schwerpunkt auf Validierung, Fehlermessung und fortlaufender Qualitätssicherung.

Kontext, nicht Werbung: Liebherr: Unser Weg zur Smart Factory, Magazin 02/2025 beschreibt intelligente Prozesse und besondere Anforderungen bei kleinen Losgrößen und hoher Variantenvielfalt. Die Fallfirma in diesem Kurs ist nicht Liebherr; alle Zahlen sind erfunden. Dieses unabhängige Bildungsangebot ist weder offizielle Liebherr- noch IHK-Zertifizierung.

Prüfziele und belastbare Daten

Vom Modelltest zur Validierung

Verifikation fragt, ob ein System wie spezifiziert implementiert ist, etwa ob Ausgaben das vereinbarte Format besitzen. Validierung prüft, ob es für die reale fachliche Aufgabe geeignet wäre, zum Beispiel ob es auch bei seltenen Fehlern und neuen Werkstückvarianten brauchbare Hinweise liefert. Testen erzeugt nachvollziehbare Beobachtungen; Monitoring beobachtet systematisch spätere Änderungen. Erkläre den Unterschied einem Mitschüler anhand eines simulierten Prüfkatalogs.

Ein Modell mit 95 % richtigen Gesamtprognosen kann dennoch viele seltene Qualitätsfehler übersehen. Deshalb definierst du vor der Auswertung den Einsatzzweck, akzeptierbare Fehler, Testgruppen, Version, Stoppkriterien und Verantwortlichkeiten. Benchmark bedeutet Vergleich auf einem festen Datensatz. Er ist nützlich, ersetzt aber keine Prüfung des Lebenszyklus von Entwicklung über Versionswechsel und Betrieb bis zur Außerbetriebnahme. Der NIST AI RMF 1.0, 2023 empfiehlt systematisches Erfassen, Messen, Steuern und Überwachen von Risiken.

Daten fair aufteilen

Trenne Trainingsdaten für das Lernen, Validierungsdaten für die Modellauswahl und Testdaten für die abschließende, möglichst unabhängige Beurteilung. Weise Bauteile aus derselben Charge bzw. sehr ähnliche Bildserien möglichst nur einem dieser Bereiche zu, um Datenleckage zu verhindern. Halte die Aufteilung vor dem Test fest. Ein Ergebnis wird nicht verbessert, indem du ungünstige Chargen nachträglich herausnimmst oder denselben Testdatensatz immer wieder zur Auswahl von Schwellenwerten benutzt. Wenn der Test die weitere Entwicklung beeinflusst, brauchst du eine neue unabhängige abschließende Prüfung.

Hilfestellung: Lege eine Tabelle mit den Spalten Fall-ID, Variante, Charge, Eingangsdatenstatus, Expertenlabel, KI-Entscheidung und Datensatzrolle an. In unserem Kurs sind Expertenlabel ausdrücklich simuliert, nicht aus einer Fabrik erhoben. Vertiefung: Begründe, warum eine zeitliche Trennung bei veränderlichen Prozessen manchmal aussagekräftiger ist als eine zufällige Teilung.

Bild und Alttext: Schematische Aufnahme eines industriellen Roboterarms; zeigt den industriellen Kontext, nicht das hier getestete KI-Modell. Bilddatei: Wikimedia Commons, Original Jo Teichmann / KUKA Roboter GmbH, Bearbeitung Tony Wills, Gemeinfreiheit laut Dateiseite. Ohne Bild: Denk an drei voneinander unabhängige Prüfschritte vor einer rein simulierten Empfehlung.

Varianten prüfen und Testdaten nicht schönrechnen

Geführter Modellfall: fiktive Variantenfertigung

Eine gedachte Werkstatt baut Varianten A, B und die neue Variante C. Ein Offline-KI-Modell kennzeichnet Teile als „Nachprüfung empfohlen“ oder „keine Nachprüfung empfohlen“. In einer Woche fehlen Bauteile, zugleich gibt es Oberflächenabweichungen. Der Prüfplatz ist auf 30 manuelle Kontrollen pro Schicht begrenzt. Die Modellentscheidung ist keine Freigabe.

Wir betrachten vier Felder der Konfusionsmatrix: richtig positiv (TP) = tatsächlich fehlerhaft und als auffällig gemeldet; falsch negativ (FN) = fehlerhaft, aber nicht gemeldet; falsch positiv (FP) = in Ordnung, aber Alarm; richtig negativ (TN) = in Ordnung und kein Alarm. Das „Positive“ bezeichnet hier ausdrücklich einen Qualitätsfehler, nicht ein gutes Bauteil.

Synthetisches, getrenntes Testfenster	TP	FN	FP	TN	Gesamt
Alte Varianten A/B, unabhängige Stichprobe	24	6	10	160	200
Neue Variante C, zurückgehaltene Stichprobe	9	6	12	73	100

Rechenweg: Trefferquote für tatsächliche Fehler, Recall/Sensitivität = TP/(TP+FN). Bei A/B: 24/30 = 80 %. Bei C: 9/15 = 60 %. Fehlalarmrate = FP/(FP+TN). Bei A/B: 10/170 ≈ 5,9 %. Bei C: 12/85 ≈ 14,1 %. Präzision = TP/(TP+FP); für C sind es 9/21 ≈ 42,9 %. Die Gesamtgenauigkeit allein verschleiert die verschlechterte Erkennung der neuen Variante.

Vereinbarte Lern-Schwellenwerte, keine Industrie-Norm: Recall mindestens 80 %, Fehlalarmrate höchstens 8 %, Kennzeichnung neuer Varianten und vollständiges Testprotokoll. A/B erfüllt die zwei Leistungsziele nur am Grenzwert; C verfehlt beide. Entscheidung: C darf im Übungsfall nicht als automatisch verlässlich bewertet werden. Der Test ist ein Warnsignal, keine reale Betriebsfreigabe. Kleine Stichproben bedeuten Unsicherheit: 15 tatsächliche Fehler bei C ergeben nur eine grobe Schätzung; erweitere die unabhängige Testbasis.

Bild und Alttext: Vierfeldertafel aus tatsächlicher Klasse und vorhergesagter Klasse, englisch beschriftet mit TP, FN, FP, TN. Oritnk, Commons, CC BY-SA 3.0. Ohne Bild: Lies die vier Felder in der obigen Texttabelle.

Neuvariante als echter Härtetest

Bevor du Variante C bewertest, protokollierst du ihre Besonderheiten: unbekannte Oberflächenmuster, andere Bearbeitung, knappe Ersatzteile und die schon bestehende Belastung des Prüfplatzes. Ein repräsentativer Test soll leichte und schwierige Fälle, Tageszeiten, Chargen und seltene Fehler enthalten. Nicht schönrechnen: 6 übersehene Mängel in C bleiben 6; du darfst sie nicht mit dem Hinweis auf „ungewöhnliche Teile“ aus der Statistik streichen. Berichte Ergebnisse getrennt nach Variante sowie zusammen und nenne die Anzahl je Gruppe. Lege Unsicherheit, fehlende Labels und Vergleichszeitraum offen.

Übung mit Selbstkontrolle: Zwei Teams berichten über dieselben 100 C-Teile. Team X nennt 82 % Gesamtgenauigkeit, denn (9+73)/100 = 82 %. Team Y nennt 60 % Recall bei 14,1 % Fehlalarmrate. Beide Zahlen sind rechnerisch korrekt, aber für die Risikofrage ist der differenzierte Bericht entscheidend. Begründe, welche falsche Sicherheit die isolierte Zahl 82 % vermitteln könnte.

Fehlererkennung, Fehlalarme und Ressourcen

Wenn ein Alarm hilfreich oder teuer ist

Falsch positiv bedeutet unnötige Prüfung eines guten Teils. Falsch negativ bedeutet ein übersehener Fehler. Beides verursacht Kosten und kann Vertrauen mindern. Im rein synthetischen Planspiel kostet jeder Fehlalarm 15 Minuten Nachprüfung; jeder übersehene Fehler führt rechnerisch zu 120 Minuten Nacharbeit. Für C entstehen 12 × 15 = 180 Minuten Prüfaufwand und 6 × 120 = 720 Minuten Nacharbeit: zusammen 900 Modell-Minuten auf 100 Teile. Für A/B sind es 10 × 15 + 6 × 120 = 870 Minuten auf 200 Teile, also 435 Minuten auf 100 Teile. Dieses vereinfachte Rechenmodell lässt weitere Einflüsse bewusst weg; es ist keine reale Kostenrechnung.

Kapazitätskonflikt: Bei C schlägt das Modell 21 Teile zur Nachprüfung vor. Bei zusätzlichen externen Prüfpflichten könnten die 30 Prüfplätze pro Schicht trotzdem knapp werden. Weniger Fehlalarme sind hilfreich, wenn dabei nicht noch mehr kritische Fehler übersehen werden. Eine Entscheidung braucht daher gleichzeitig Fehlalarmrate, Recall, Folgen und Kapazität.

Ursachenanalyse statt Schuldzuweisung

Ein Alarmanstieg kann aus echter Qualitätsverschlechterung, veränderter Beleuchtung, Sensorausfällen, Datenfehlern oder einer neuen Bauteilvariante stammen. Prüfe zuerst die Datenqualität (fehlende Werte, veränderte Einheiten, Duplikate), dann die Verteilung der Varianten, schließlich bestätigte Fehlklassifikationen. Dokumentiere, ob ein Fehler reproduzierbar ist. Vergleiche stets mit manuell geprüften Referenzfällen; ohne solche Labels misst du zwar Alarmhäufigkeiten, aber nicht unmittelbar die tatsächliche Modellgüte.

Geführte Entscheidung: In Schicht 1 löst C zwölf unnötige Alarme aus. In Schicht 2 ist ein Sensor versetzt; die Alarmzahl steigt weiter, aber bestätigende Labels fehlen. Was darfst du sagen? „Die Alarmhäufigkeit ist gestiegen“ ist beobachtbar. „Die Fehlerquote im Werk ist gestiegen“ wäre noch unbelegt. Fordere einen repräsentativen Prüfausschnitt an, bevor du die Ursache behauptest.

Audio: Biegemaschine in einer Kettenschmiede, Work With Sounds / Konrad Gutkowski und Mitwirkende, CC BY 4.0. Höraufgabe: Notiere zwei auffällige Geräuschmerkmale, ohne daraus auf einen tatsächlichen Maschinendefekt zu schließen. Die Aufnahme stammt aus einem anderen Umfeld und ist kein Datensatz für unser Modell. Ohne Audio: Beschreibe zwei theoretische Messgrößen wie Schalldruckpegel und Frequenzband und weshalb sie erst gegen eine Referenz geprüft werden müssen.

Drift messen und die Rückfallregel auslösen

Was sich im Lebenszyklus verändern kann

Data Drift bedeutet: Die Verteilung von Eingangsdaten ändert sich, etwa wenn der Anteil von C-Teilen von 15 % auf 45 % wächst oder ein Kamerasensor anders beleuchtet wird. Concept Drift bedeutet: Der Zusammenhang zwischen Daten und Fehlerlabel ändert sich, etwa weil ein bislang harmloses Oberflächenmuster nach einem Prozesswechsel tatsächlich Fehler signalisiert. Modellleistungsdrift ist eine beobachtete Verschlechterung von Qualitätskennzahlen. Data Drift allein beweist keine schlechtere Güte; bei verzögerten Expertenlabels muss man zwei Arten von Frühwarnsignalen und bestätigten Ergebnissen trennen.

Praxisnähe: Die folgende Qualitätsregelkarte veranschaulicht Prozessbeobachtung, ersetzt aber kein Verfahren zur Detektion von Konzeptdrift oder eine statistisch hergeleitete KI-Schwelle.

Fehler beim Erstellen des Vorschaubildes:

Bild und Alttext: Beispiel einer p-Regelkarte mit zeitlich veränderten Prozesswerten und Kontrollgrenzen, englisch beschriftet; nicht unsere Fertigungsdaten. DanielPenfield, Wikimedia Commons, CC BY-SA 3.0. Ohne Bild: Lies eine Zeitreihe als Folge von Stichprobenwerten und markiere einen auffälligen Verlauf.

Zusätzliches kurzes Video (englisch):

Video: „Data Drift Detection and Model Monitoring | Concept Drift | Covariate Drift | Statistical Tests“, YouTube; öffentlich gelistete Videoseite geprüft, tatsächliche Wiedergabe und regionale Verfügbarkeit können sich ändern. Deutschsprachige Alternative: Der vorstehende Text erklärt dieselben Begriffe; schreibe für die beiden Driftarten je ein eigenes deutsches Beispiel. Alle Lernziele sind ohne Video erreichbar.

Der ausgefüllte Monitoringplan

Ein Monitoringplan ist kein Dashboard-Foto, sondern eine verbindliche Arbeitsanweisung: Messgröße, Datenquelle, Rhythmus, Grenzwert, zuständige Person, Prüfung, Reaktion, Rückkehrbedingung und Version. Jede Schwelle im folgenden Plan ist ausdrücklich didaktisch erfunden und vor einem echten betrieblichen Einsatz fachlich neu zu validieren.

Indikator und Quelle	Rhythmus und Lern-Schwelle	Bei Überschreitung im Planspiel
Eingabeverteilung: C-Anteil je 100 Fälle, Produktionsliste	Täglich; Abweichung vom dokumentierten Referenzanteil um mehr als 20 Prozentpunkte	Datenqualität und Variantenmix prüfen; als Drift-Verdacht kennzeichnen
Fehlalarmrate je Variante aus manuellen Referenzlabels	Wöchentlich; mehr als 8 % in zwei unabhängigen Auswertefenstern	Überprüfung veranlassen, Ursache dokumentieren, KI-Empfehlung für C aussetzen
Recall je Variante mit bestätigten Fehlerlabels	Wöchentlich, nur bei ausreichend belegter Stichprobe; unter 80 %	Sofortiger Stopp der automatischen Übernahme von KI-Empfehlungen im Planspiel; Fachprüfung statt KI-Hinweis
Fehlende Eingabewerte oder Sensor-Formatwechsel	Bei jedem synthetischen Datenimport; Änderung oder fehlender Pflichtwert	Datensatz isolieren und bis zur Klärung nicht auswerten
Testabdeckung, Modellversion und Prüfkapazität	Bei jeder neuen Variante und Versionsänderung	Unabhängigen Regressionstest planen; keine stillschweigende Ausweitung

Zuständigkeiten: Die lernende Projektgruppe dokumentiert und empfiehlt nur; eine benannte, fiktive Qualitätsfachkraft beurteilt Labels; eine fiktive verantwortliche Person genehmigt im Rollenspiel den Rückkehrentscheid. Es gibt keine Verbindung zu betrieblichen Systemen.

Rückfallregel R1: Sobald Recall unter dem vereinbarten Ziel liegt, kritische Datenfelder fehlen oder eine neue Variante ohne unabhängigen Test erscheint, werden ihre KI-Empfehlungen im Planspiel nicht mehr automatisch übernommen. Die Fälle gehen zur fachlichen Einzelprüfung, der Vorfall erhält Datum, Variante, Daten- und Modellversion sowie eine Ursachenhypothese. Zurück in den simulierten Normalmodus geht es erst nach Datenbereinigung, neuer unabhängiger Teststichprobe, bestandenen gruppenspezifischen Grenzwerten, dokumentierter Entscheidung und Kontrolle der Prüfkapazität. Nachtraining allein ist keine Rückkehrfreigabe.

Alarmmüdigkeit vorbeugen

Bei jeder Meldung erfasst du den Ausgang: bestätigt, Fehlalarm, unklar oder Datenfehler. Setze klare Prioritäten: Verdacht auf übersehene relevante Mängel wiegt in diesem Fall schwerer als ein zusätzlicher Papierprüfschritt. Vermeide aber unbegründete Daueralarme: Sie erzeugen Alarmmüdigkeit, also Gewöhnung an häufige unwichtige Warnungen. Miss die Zahl verarbeitbarer Prüfungen, bespreche die Alarmqualität in festen Abständen und verbessere Schwellen nur anhand getrennter Entwicklungs- und anschließender neuer Testdaten. Veränderte Regeln erhalten eine neue Version, nie eine nachträglich geglättete Erfolgsgeschichte.

Vom Testprotokoll zum eigenständigen Lernprodukt

Geführtes Audit der Variante C

Arbeite die fünf Prüfschritte durch. Erstens: halte Testziel, Datensatzherkunft, Zeitfenster und die neue Variante fest. Zweitens: rechne Recall, Fehlalarmrate und Präzision selbst nach. Drittens: protokolliere auch negative Befunde, fehlende Informationen und Stichprobenunsicherheit. Viertens: prüfe mit der Tabelle den Drift-Verdacht getrennt von der bestätigten Modellverschlechterung. Fünftens: entscheide anhand R1, ob C im Planspiel weiter KI-unterstützt geprüft werden darf. Für die genannten 100 Testfälle ist die begründete Entscheidung: Nein, die Lern-Schwellen wurden verletzt. Das ist keine Aussage über ein existierendes Industrieprodukt.

Transparenter Fehlerfall: Eine Projektgruppe entfernte zwölf falsch positive C-Fälle aus dem Abschlussbericht, weil diese „nur Lichtreflexe“ seien. Danach sähe die Fehlalarmrate kleiner aus. Der Fehler ist eine selektive nachträgliche Datenbereinigung, die den Test verzerrt. Korrektur: ursprüngliches Ergebnis unverändert berichten; Lichtreflexe als mögliche Ursache extra analysieren; bei Daten- oder Sensoränderung eine neue Version auf einem unberührten Testset prüfen.

Vorlage für deinen eigenen Monitoringplan

Pflichtfeld	Was du einträgst
Einsatzzweck und Grenzen	Welche rein simulierte Empfehlung und welche ausgeschlossene Sicherheitsentscheidung?
Varianten und Testdaten	A, B, C; Herkunft, Trennung, Fallzahlen, seltene Fälle, Unbekanntes
Kennzahlen und Grenzwerte	Recall, Fehlalarmrate, Präzision, Abdeckung, Kapazität und begründete Schwellen
Laufende Messung	Was wird aus welchem geprüften Datensatz wie oft gemessen?
Drift und Fehlalarm-Triage	Was gilt als Verdacht, was ist durch Labels bestätigt, wer bewertet?
Rückfallregel und Wiederanlauf	Stopp, manuelle Referenzprüfung, Eskalation, neue Testbasis, schriftliche Freigabe nur im Planspiel
Nachweise	Modellversion, Datensatzversion, Rechnung, Datum, Unsicherheit, unabhängige Gegenprüfung

Eigenständiger Transfer: Ändere eine Randbedingung: C-Anteil steigt auf 65 %, Prüfkapazität sinkt auf 20 oder der Anteil echter Fehler fällt stark. Prüfe, welche Indikatoren weiter sinnvoll sind, welche Konfusionsmatrix du dafür zusätzlich brauchst und warum man ohne neue Labels nicht einfach neue Recall-Werte behaupten kann. Dokumentiere mindestens eine alternative Maßnahme und eine abgelehnte Maßnahme mit Begründung.

Fachliche Vertiefung: Für seltene Fehler benötigst du vorab definierte Mindestfallzahlen oder Unsicherheitsintervalle; eine einzelne Prozentzahl ist oft nicht robust. Überprüfe Stichprobenverzerrung und Datenleckage, die Nachvollziehbarkeit menschlicher Eingriffe, Versionierung und möglichst unabhängige Begutachtung. Die Hinweise in NIST AI 600-1, 2024 gelten spezifisch generativer KI; unser Klassifikationsfall folgt allgemeiner dem AI RMF 1.0. Übertrage branchenspezifische Regeln niemals ungeprüft.

Interaktive Aufgaben

Multiple-Choice-Quiz

Wähle jeweils die fachlich beste Antwort. Die zutreffende Option wird vom Quizsystem geprüft; die unter den Fragen stehenden Hinweise verraten die Lösung nicht.

Welche Prüfung ist bei einer neu eingeführten Bauteilvariante besonders wichtig? (Ein unabhängiger Test mit repräsentativen Beispielen der neuen Variante) (!Nur die Wiederholung der Trainingsgenauigkeit) (!Die Übernahme der Schwelle ohne neue Prüffälle) (!Das Löschen aller schwer erkennbaren Oberflächen)

Rückmeldehinweis: Achte darauf, ob die neue Variante in der ursprünglichen Datenbasis ausreichend vertreten war.

Was wird mit Recall für fehlerhafte Teile gemessen? (Der Anteil tatsächlich fehlerhafter Teile mit ausgelöstem Hinweis) (!Der Anteil aller fehlerfreien Teile ohne Hinweis) (!Die Anzahl von Modellversionen pro Woche) (!Die mittlere Dauer der manuellen Nachprüfung)

Rückmeldehinweis: Beginne bei der Gruppe, deren tatsächlicher Zustand fehlerhaft ist.

Was beschreibt die Fehlalarmrate in diesem Modellfall? (Den Anteil guter Teile mit unnötigem Nachprüfhinweis) (!Den Anteil fehlerhafter Teile ohne Hinweis) (!Die Zahl aller produzierten Varianten) (!Die Dauer eines Datenimports)

Rückmeldehinweis: Ein Fehlalarm bezieht sich hier auf ein tatsächlich gutes Teil.

Warum darf man problematische Testfälle nicht rückwirkend aussortieren? (Die berichtete Güte würde durch selektive Auswahl verzerrt) (!Jeder Testdatensatz muss mit dem Training identisch sein) (!Ein Modell dürfte sonst keine Lernrate mehr besitzen) (!Eine fehlende Datei verursacht immer Concept Drift)

Rückmeldehinweis: Überlege, wer vor der Auswertung über Ausschlussregeln entscheidet.

Welche Aussage über Data Drift ist richtig? (Die Verteilung der Eingangsdaten hat sich verändert) (!Data Drift beweist immer mehr fehlerhafte Teile) (!Data Drift beschreibt nur eine neue Softwareversion) (!Data Drift lässt sich ausschließlich am Ton erkennen)

Rückmeldehinweis: Veränderte Eingaben und veränderte Modellgüte sind nicht gleichbedeutend.

Welche Beobachtung passt eher zu Concept Drift? (Die Beziehung zwischen Oberflächenmuster und Fehlerstatus ändert sich) (!Die Modellnummer wird in einer Dokumentation ergänzt) (!Eine Tabelle erhält eine zusätzliche Titelzeile) (!Der Lernkurs wird ohne Internet gelesen)

Rückmeldehinweis: Frage nach dem Zusammenhang von Merkmalen und richtigen Labels.

Was folgt aus fehlenden bestätigten Qualitätslabels in einer Schicht? (Die tatsächliche aktuelle Recall kann noch nicht belastbar berechnet werden) (!Jeder Alarm muss zwangsläufig ein echter Defekt sein) (!Die Gesamtgenauigkeit ist automatisch perfekt) (!Die Modelle brauchen nie wieder überprüft zu werden)

Rückmeldehinweis: Für Leistungskennzahlen braucht man Beobachtungen des tatsächlichen Zustands.

Welche Reaktion passt zur vereinbarten Rückfallregel R1? (KI-Hinweise für die betroffene Variante im Planspiel aussetzen und fachlich nachprüfen) (!Alle Prüffälle löschen und dieselbe Kennzahl neu berechnen) (!Grenzwerte nachträglich so verändern bis das Modell besteht) (!Den Schaden ohne Dokumentation als Ausnahme werten)

Rückmeldehinweis: Eine Rückfallregel muss vor dem Vorfall formuliert und nachvollziehbar sein.

Weshalb reicht ein hoher einmaliger Benchmarkwert nicht aus? (Daten, Prozesse und Modellleistung können sich später verändern) (!Ein Benchmark muss immer kostenpflichtig sein) (!Die gleiche Stichprobe enthält automatisch alle künftigen Varianten) (!Eine hohe Zahl ersetzt jede Verantwortung im Betrieb)

Rückmeldehinweis: Denk an Modellversionen, neue Varianten und Zeiträume.

Welcher Bericht über Variante C ist fachlich am aussagekräftigsten? (Recall und Fehlalarmrate je Variante samt Fallzahl und Unsicherheit) (!Nur die bestmögliche Genauigkeit aus ausgewählten Chargen) (!Ausschließlich eine Gesamtzahl ohne Fehlerklassen) (!Eine Erfolgsmeldung ohne überprüfbare Datengrundlage)

Rückmeldehinweis: Ein transparentes Protokoll nennt auch ungünstige Befunde.

Memory

Finde mindestens fünf verschiedene Begriffspaare aus Modellprüfung und Überwachung.

Validierung	Eignung des Systems für die konkrete fachliche Aufgabe prüfen
Sensitivität	Anteil erkannter tatsächlicher Fehler
Fehlalarm	Gutes Teil erhält unnötigen Prüfhinweis
Datendrift	Statistische Verteilung der Eingaben verändert sich
Rückfallregel	Vorab festgelegte Handlung bei nicht erfüllten Kriterien
Testleckage	Informationen aus der unabhängigen Prüfung beeinflussen die Entwicklung

Drag-and-Drop

Ordne die fünf Maßnahmen ihrer Funktion im Prüfablauf zu.

Passenden Begriff zuordnen	Beschreibung
Unabhängiger Test	Aussage über bisher nicht zur Modellauswahl verwendete Fälle
Referenzlabel	Fachlich überprüfter tatsächlicher Qualitätszustand
Driftindikator	Frühwarnung bei verändertem Eingangsmuster
Alarmtriage	Geordnete Unterscheidung von bestätigt, falsch und ungeklärt
Regressionstest	Prüfung nach einer Modell- oder Datenprozessänderung

Kreuzworträtsel

Löse die sechs Hinweise. Jede Antwort besteht aus genau einem Wort.

Drift	Veränderung von Datenmustern oder Zusammenhängen im Zeitverlauf
Recall	Fachbegriff für die Trefferquote unter tatsächlich fehlerhaften Fällen
Sensor	Technische Quelle eines gemessenen Eingangssignals
Alarm	Meldung, die eine genauere Prüfung auslöst
Charge	Zusammengefasste Fertigungsmenge aus einem Produktionsabschnitt
Audit	Nachvollziehbare systematische Überprüfung von Unterlagen und Verfahren

LearningApps

LernApps-Suche zum Kursthema. Das folgende Fenster ist eine Suche, keine als erstellt oder geprüft ausgegebene konkrete Übung. Offline-Alternative: Ordne die fünf Begriffe der Drag-and-Drop-Aufgabe auf Papier zu.

Lückentext

Ergänze die fachlich passenden Begriffe; jede Satzlücke kann aus dem Kurstext gelöst werden.

Die Eignung eines Modells für seine Aufgabe heißt

.

Ein unabhängiger Abschlussvergleich verwendet

.

Übersehene Fehler gehören zur Gruppe der

.

Gute Teile mit unnötigem Hinweis erzeugen

.

Die Veränderung einer Eingangsverteilung heißt

.

Der Wandel des Zusammenhangs zwischen Merkmalen und Label heißt

.

Ein Ausfall eines Pflichtsensors verlangt eine dokumentierte

.

Eine neue Modellversion sollte einen unabhängigen

erhalten.

Die tatsächliche Erkennungsleistung benötigt überprüfte

.

Ein einziger Modellvergleich ersetzt keine Prüfung im gesamten

.

Offene Aufgaben

Leicht

Begriffe erklären: Definiere in eigenen Worten Modellvalidierung, Fehlalarm und Rückfallregel und gib für jeden Begriff einen Fall aus der fiktiven Fertigung an.
Vierfeldertafel lesen: Kennzeichne bei A/B und C TP, FN, FP und TN; erkläre einer lernenden Person die Bedeutung des positiven Falls.
Datensparsame Falltabelle: Lege offline acht erfundene Prüffälle mit Variantenkennzeichen und Qualitätslabel an; verwende keine echten Personen- oder Betriebsdaten.
Quelle vergleichen: Lies die verlinkte NIST-RMF-Zusammenfassung und notiere drei Fragen, die vor einer späteren Modellnutzung beantwortet sein sollten.

Standard

Kennzahlen berechnen: Berechne Recall, Präzision und Fehlalarmrate für C ohne die Beispielrechnung abzuschreiben und erläutere die unterschiedlichen Nenner.
Neue Variante beurteilen: Beurteile, ob C die beiden selbst vereinbarten Testziele erreicht, und formuliere eine kurze begründete Entscheidung an eine fiktive Qualitätsfachkraft.
Fehlalarme priorisieren: Berechne den simulierten Prüfaufwand für eine zusätzliche Schicht mit acht Fehlalarmen und drei übersehenen Fehlern; entscheide, welche zusätzliche Information fehlt.
Monitoring-Zeitreihe: Skizziere auf Papier vier Tageswerte des C-Anteils von 15, 20, 39 und 45 Prozent und markiere, wann der beispielhafte Drift-Indikator anspricht.

Schwer

Testdaten-Audit: Entwirf eine Kontrollliste gegen Schönrechnen, ungleiche Gruppen, Labelunsicherheit und Testleckage; begründe je einen konkreten Fehlerfall.
Monitoringplan entwickeln: Erstelle deinen vollständigen Monitoringplan mit mindestens fünf Indikatoren, Zuständigkeit, Rhythmus, Grenzwert, Prüfweg und Version; bespreche das Ziel mit Ausbildenden.
Rückfallentscheidung verteidigen: Simuliere eine neue Variante mit 20 verfügbaren Prüfplätzen; wähle zwischen fachlicher Einzelprüfung und eingeschränktem KI-Hinweis und verteidige eine abgelehnte Alternative.
Lebenszyklusprüfung: Entwickle ein wiederkehrendes Test- und Reviewverfahren einschließlich Versionswechsel, neuen Labels, Drift-Verdacht, unabhängiger Nachprüfung und dokumentiertem Wiederanlauf.

Lernkontrolle

Abdeckung: Welche Kombination von unbekannter Variante, kleiner Stichprobe und selektiver Bereinigung macht die scheinbare Gesamtgenauigkeit irreführend? Begründe anhand von C.
Zahlenanalyse: Berechne die Recall von C und die Fehlalarmrate bei A/B, prüfe die Schwellen und nenne die für ihre Interpretation nötigen Fallzahlen.
Ursachenprüfung: Der Anteil C steigt, die Alarmrate ebenfalls, bestätigte Labels fehlen. Unterscheide sichere Beobachtung, mögliche Ursache und unzulässige Schlussfolgerung.
Ressourcenentscheidung: Welche Maßnahme ist bei knapper manueller Prüfkapazität sinnvoll, ohne die sechs übersehenen C-Fehler zu verschweigen? Nenne Nebenwirkungen.
Rückfallregel: Schreibe eine überprüfbare Wenn-dann-Regel mit Auslöser, Fachprüfung, Verantwortung und Bedingungen für die Wiederaufnahme im Planspiel.
Gegenprüfung: Erkläre, warum ein nachtrainiertes Modell vor erneuter Nutzung einen neuen unabhängigen Test mit nachvollziehbarer Version benötigt.
Fehlerfall begründen: Ein Team streicht zwölf Lichtreflex-Fälle aus dem Test. Beurteile das Vorgehen und beschreibe eine faire Alternative.

Lernnachweis

Abzugeben ist ein eigenes Lernprodukt: „Monitoringplan für die fiktive Variantenfertigung, Version 1.0“. Es enthält (a) vereinbarten Zweck und Grenzen, (b) Tabelle aller synthetischen Fallzahlen und Rechnung, (c) Variantenprüfung inklusive C, (d) Fehlalarm- und Drift-Bewertung, (e) eine mit Namen von fiktiven Rollen versehene Eskalations- und Rückfallregel, (f) Dokumentation von Daten- und Modellversion, (g) mindestens einen begründeten Fehlerfall und (h) eine Transferentscheidung. Keine persönlichen Schülerdaten aufnehmen.

Bewertungsraster mit 20 Punkten: Testdaten und Unabhängigkeit 4; korrekte Kennzahlen 4; plausible Monitoringindikatoren 4; überprüfbare Rückfall- und Wiederanlaufregel 4; begründeter Transfer, Unsicherheit und Fehlerfall 4. Mindeststandard: jede Kategorie bearbeitet und keine unbegründete Sicherheitsbehauptung. Peer-Review: Eine zweite Person versucht anhand deiner Tabelle die Rechnung zu reproduzieren und prüft, ob auch negative Testergebnisse dokumentiert wurden.

Selbstkontrollfrage: Kann ein Dritter ohne Zugang zu einem bezahlten KI-Konto deine Entscheidung für C nachvollziehen? Wenn nicht, verbessere Quellenstand, Rechenwege oder Bedingungen der Entscheidung.

OER und Wikipedia

Quellenstand: 22.10.2026. Fachliche Referenzen und Versionen sind im Lernprodukt datiert zu dokumentieren. Die Links sind Rechercheeinstiege, keine Zertifizierung und keine Aussage, dass sämtliche Unterseiten künftig unverändert bleiben.

NIST, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 26.01.2023, allgemeines freiwilliges Risikomanagement für KI.
NIST, Generative AI Profile, NIST AI 600-1, Juli 2024, nur für die zusätzlich betrachteten Besonderheiten generativer KI, nicht als spezielle Klassifikatornorm.
Liebherr, Smart Factory, Magazin 02/2025, Industrie-Kontext, keine Quelle für die erfundenen Kennzahlen.
Fraunhofer ITWM, KI-Oberflächeninspektion, praktische Herausforderung seltener Fehler und wechselnder Produkte.
Google Machine Learning Crash Course, Überanpassung, deutsch, Datentrennung und Überanpassung.
Wikipedia: Maschinelles Lernen und Wikipedia: Beurteilung eines binären Klassifikators, Überblick und Begriffe. Wikipedia ist gemeinschaftlich bearbeitet und muss für belastbare Fachentscheidungen mit Primärquellen gegengeprüft werden.

Lizenz- und Mediennachweise, jeweils echte Wikimedia-Commons-Dateiseite:

Medium	Dateiseite / Quelle	Urheberschaft	Lizenz / Nutzungsrahmen
File:Industrial robot.jpg	Wikimedia Commons	Jo Teichmann / KUKA Roboter GmbH; Bearbeitung Tony Wills	Gemeinfreiheit laut Dateiseite
File:Binary confusion matrix.png	Wikimedia Commons	Oritnk	CC BY-SA 3.0
File:P control chart.svg	Wikimedia Commons	DanielPenfield	CC BY-SA 3.0
File:WWS Bendingmachine.ogg	Wikimedia Commons / Work With Sounds	Work With Sounds / Konrad Gutkowski und Mitwirkende	CC BY 4.0
YouTube tQjRQWfYQ10	Datendrift / Modellüberwachung (englisch)	Kanal- und Lizenzangaben bitte jeweils direkt auf der Videoseite prüfen	YouTube-Nutzungsbedingungen; nur verlinkt/eingebettet, keine Nachlizenzierung

Unsicherheiten: Der ursprüngliche MOOCwiki-Lernkurs war extern nicht abrufbar; die Video-Wiedergabe war außerhalb der öffentlich indexierten Videoseite nicht durchgängig überprüfbar. Eine technische Einbettung kann je nach Land und Browser ausfallen. Der gesamte Kurs bleibt mit den Texten, synthetischen Tabellen und Papieraufgaben offline verwendbar.

Wikipedia zum freiwilligen Weiterlesen:

Ohne eingebettete Inhalte: Verwende die vorgenannten direkten Quellenlinks oder die hier vollständig abgedruckten Tabellen.

Verknüpfte Lernbereiche

KI-Prüfung und Monitoring

Empfohlene Reihenfolge: Grundkompetenzen Z1 bis Z3 → unabhängiger Variantenvergleich → Kennzahlen und Fehlalarme → Drift-Plan → simulierte Eskalation und dokumentierter Lernnachweis. Ausbildende prüfen die Eignung für das jeweilige Ausbildungsprojekt. Die Inhalte sind keine Anleitung zur Echtzeitregelung einer Maschine.