aiMOOC

KI im technischen Arbeitsalltag – KI-Fehler und Unsicherheit offen dokumentieren

QR-Code

KI im technischen Arbeitsalltag – KI-Fehler und Unsicherheit offen dokumentieren

Kurzbeschreibung: In diesem aiMOOC lernst Du, die Herkunft von KI-Aussagen zu prüfen, nicht belegte Aussagen zu erkennen und Unsicherheit so zu dokumentieren, dass andere Deine Entscheidung nachvollziehen können. Der Kurs richtet sich an Auszubildende in technischen Berufen.

Sicherheitsregel für alle Übungen: Arbeite ausschließlich in lokalen oder ausdrücklich autorisierten Testumgebungen und nur mit fiktiven Daten. Greife keine fremden Netze, Produktivanlagen, Zugangsdaten oder Kundendaten an und übertrage solche Daten niemals ungefragt an einen KI-Dienst.

Einleitung

KI kann im technischen Arbeitsalltag Texte, Fehlersuchhinweise, Prüfprotokolle, Code oder Wartungsvorschläge erzeugen. Eine sprachlich überzeugende Ausgabe ist aber noch kein Beleg. Generative Modelle können falsche Inhalte, erfundene Quellen oder widersprüchliche Begründungen erzeugen. NIST bezeichnet dieses Risiko im Kontext generativer KI als Confabulation. Das Bundesamt für Sicherheit in der Informationstechnik weist ebenfalls auf Fehlinterpretationen und die Bedeutung nachvollziehbarer Prozesse hin.

Dein Ziel ist deshalb nicht, KI-Aussagen blind zu übernehmen, sondern sie prüfbar zu machen: Woher stammt die Aussage? Welche Quelle stützt sie? Was ist unklar? Wie groß wäre der Schaden bei einem Fehler? Welche menschliche Prüfung ist nötig?

Lernziele

Nach dem Kurs kannst Du:

Herkunft prüfen: Primärquelle, Sekundärquelle und unbelegte KI-Aussage unterscheiden.
KI-Fehler erkennen: falsche Fakten, erfundene Quellen, Auslassungen und widersprüchliche Angaben markieren.
Unsicherheit beschreiben: fehlende Information von statistischer Unsicherheit unterscheiden.
Prüfschritte dokumentieren: Aussage, Quelle, Prüfstatus, Unsicherheit und Entscheidung festhalten.
Sicher arbeiten: ausschließlich fiktive Daten in freigegebenen Lern- und Testumgebungen verwenden.

Kurze Lerneinheiten

Herkunft vor Plausibilität

Eine KI-Ausgabe kann plausibel klingen und trotzdem falsch sein. Prüfe deshalb zuerst die Herkunft.

Prüfstatus	Bedeutung	Handlung
Belegt	Eine passende, auffindbare Quelle stützt die konkrete Aussage.	Quelle öffnen, Stelle prüfen, Version und Datum notieren.
Teilweise belegt	Die Quelle stützt nur einen Teil oder lässt Randbedingungen offen.	Fehlende Bedingungen kennzeichnen und nachprüfen.
Nicht belegt	Keine passende Quelle ist auffindbar oder die Quelle existiert nicht.	Aussage nicht als Fakt weiterverwenden.
Widersprochen	Eine verlässliche Quelle nennt einen anderen Wert oder Sachverhalt.	KI-Ausgabe verwerfen und Abweichung dokumentieren.

Merksatz: Eine Quellenangabe der KI ist zunächst selbst nur eine Behauptung, bis Du die Quelle geöffnet und die passende Stelle geprüft hast.

Typische KI-Fehler

Erfundene Quelle: Titel, Norm, Handbuchseite oder Link klingt real, ist aber nicht auffindbar.
Falscher Zahlenwert: Einheit, Toleranz, Drehmoment, Temperatur oder Grenzwert stimmt nicht.
Auslassung: Ein Wert stimmt, aber notwendige Randbedingungen fehlen.
Unbelegte Schlussfolgerung: Aus Beobachtungen wird eine Diagnose behauptet, obwohl Belege fehlen.
Veraltete Information: Eine frühere Version wird als aktuell dargestellt.

Bei Klassifikationssystemen helfen Konfusionsmatrizen, Fehlerarten sichtbar zu machen. Ein False Positive und ein False Negative können im technischen Prozess sehr unterschiedliche Folgen haben.

Unsicherheit ist nicht gleich Wahrheit

Bei statistischen Modellen kann ein System Wahrscheinlichkeiten oder Scores ausgeben. Diese Werte sind nicht automatisch die Wahrscheinlichkeit, dass eine Aussage wahr ist. Bei Sprachmodellen ist eine flüssige Formulierung ebenfalls kein verlässliches Wahrheitsmaß.

Eine Kalibrierung prüft, ob vorhergesagte Wahrscheinlichkeiten langfristig zu beobachteten Häufigkeiten passen. Das ist besonders bei Klassifikationsmodellen wichtig.

Achtung: Ein statistisches Konfidenzintervall ist etwas anderes als eine sprachliche Selbsteinschätzung eines Chatbots. Aussagen wie „Ich bin mir zu 90 % sicher“ sind ohne ausgewiesene Messmethode kein belastbares Qualitätsmaß.

Zwei Arten von Unsicherheit

Aleatorische Unsicherheit entsteht durch Streuung oder Messrauschen, das auch bei mehr Wissen nicht vollständig verschwindet. Epistemische Unsicherheit entsteht durch fehlendes Wissen, zu wenige Daten oder unbekannte Situationen und kann durch bessere Daten oder Prüfung oft reduziert werden.

Für den Ausbildungsalltag reicht häufig die Frage: Fehlen Informationen oder schwanken die Messwerte?

Ein kurzes KI-Prüfprotokoll

Feld	Beispiel
KI-Aussage	„Schraube S7 wird mit 18 N·m angezogen.“
behauptete Quelle	„Herstellerhandbuch H-42, Seite 91“
gefundene Quelle	Montageblatt MB-P4 Rev. 3
Belegstelle	Abschnitt 4.2: „S7 = 8 N·m“
Prüfstatus	Widersprochen
Unsicherheit	gering bezüglich Sollwert; Ursache der KI-Abweichung unbekannt
Entscheidung	KI-Wert nicht verwenden; Sollwert 8 N·m aus freigegebener Quelle übernehmen
Prüfer / Datum	Lernende Person / Übungsdatum

Ausbildungsfall: Prüfstand P-4

Du arbeitest in einer fiktiven lokalen Schulungsumgebung. Es gibt keine Verbindung zu einer realen Maschine. Du erhältst drei fiktive Dokumente:

MB-P4 Rev. 3: Schraube S7 = 8 N·m.
WP-P4 Rev. 2: Prüfdruck = 6,0 bar ± 0,2 bar.
ST-P4 Rev. 1: Bei unklarer Ursache keine Freigabe; zweite fachkundige Person hinzuziehen.

Ein lokaler Test-KI-Assistent erzeugt folgende Aussagen:

KI-Aussage	Erste Einordnung
„S7 wird mit 18 N·m angezogen.“	widerspricht MB-P4 Rev. 3
„Der Prüfdruck beträgt 6,0 bar.“	teilweise belegt, weil die Toleranz fehlt
„Quelle: Herstellerhandbuch H-42, Seite 91.“	nicht belegt, da dieses Dokument im Übungsbestand nicht existiert
„Die Druckabweichung beweist einen Ventilschaden.“	nicht belegt; aus dem vorliegenden Material folgt diese Diagnose nicht

Arbeitsauftrag: Übertrage jede Aussage in ein KI-Prüfprotokoll. Trenne dabei Fakt, Quelle, Prüfstatus, Unsicherheit und Entscheidung.

Gestufte Hilfen

Hilfe 1 – Markieren: Unterstreiche zuerst jeden Zahlenwert, jede Quellenangabe und jede Diagnose.
Hilfe 2 – Gegenprüfen: Suche für jede markierte Aussage eine konkrete Stelle in den drei freigegebenen Übungsdokumenten.
Hilfe 3 – Entscheiden: Wenn Beleg fehlt oder widersprochen wird, darf die KI-Aussage nicht in eine technische Freigabe übernommen werden.

Fachlich geprüfte Demonstrationen und interaktive Modelle

TensorFlow Playground

TensorFlow Playground ist eine browserbasierte Demonstration eines neuronalen Netzes mit synthetischen Datensätzen. Verändere Rauschen, Trainingsdaten und Netzstruktur und beobachte, wie sich die Fehlerfläche verändert.

Sicherheitsrahmen: Verwende ausschließlich die eingebauten synthetischen Daten. Keine Betriebs-, Kunden- oder Zugangsdaten eingeben.

Teachable Machine

Teachable Machine ermöglicht einfache Klassifikationsversuche. Der Anbieter beschreibt auch eine Nutzung mit Verarbeitung auf dem Gerät. Verwende das Werkzeug im Kurs nur, wenn seine Nutzung ausdrücklich freigegeben ist, und ausschließlich mit selbst erzeugten, fiktiven Lernbeispielen.

Mini-Demo: Erstelle zwei Klassen mit neutralen Symbolkarten, teste absichtlich schlechte Trainingsdaten und dokumentiere Fehlklassifikationen.

NIST-Risikomanagement als Einordnung

Das Video von IBM Technology erläutert das NIST AI Risk Management Framework. Nutze es als Sekundärquelle und vergleiche zentrale Aussagen mit der NIST-Primärquelle.

Kritischer Quellenvergleich

Quelle	Typ	Stärke für diesen Kurs	Grenze
NIST AI RMF: Generative AI Profile	Primärquelle einer Fachbehörde	strukturiert Risiken generativer KI und behandelt Confabulation	US-Kontext; nicht automatisch deutsche Rechtsvorgabe
BSI: Künstliche Intelligenz	deutsche Fachbehörde	betont Fehlinterpretationen, Nachvollziehbarkeit und Informationssicherheit	Überblick; nicht jede technische Detailfrage wird behandelt
EU-Verordnung 2024/1689	Rechtsquelle	Artikel 50 enthält Transparenzpflichten für bestimmte KI-Systeme und KI-Inhalte	Rechtsauslegung hängt vom konkreten Anwendungsfall ab
OECD.AI	internationale Einordnung	erläutert Risiken fehlerhafter, überzeugend formulierter Ausgaben	Überblick ersetzt keine technische Prüfung im Betrieb

Quellenregel: Prüfe zuerst die Originalquelle, dann Versionsstand, Geltungsbereich und konkrete Belegstelle. Eine Zusammenfassung kann beim Einstieg helfen, ersetzt aber nicht die Primärquelle.

Dokumentieren statt verstecken

Ein guter Fehlereintrag beschämt niemanden. Er macht eine technische Entscheidung reproduzierbar. Halte besonders fest:

Was hat die KI behauptet?
Woher soll die Aussage stammen?
Was konntest Du tatsächlich verifizieren?
Was bleibt unsicher?
Welche Folge hätte ein Fehler?
Welche Entscheidung wurde deshalb getroffen?

Basis-, Anwendungs- und Transferaufgaben mit begründetem Feedback

Basis

Belegstatus: Ordne die vier KI-Aussagen aus dem Prüfstand P-4 den Status belegt, teilweise belegt, nicht belegt oder widersprochen zu. Feedback: Eine gute Lösung nennt zu jedem Status die konkrete Belegstelle, weil erst dadurch die Bewertung nachvollziehbar wird.
Fehlerart: Markiere erfundene Quelle, falschen Zahlenwert, Auslassung und unbelegte Schlussfolgerung. Feedback: Die Trennung ist wichtig, weil unterschiedliche Fehler unterschiedliche Prüfmaßnahmen benötigen.
Unsicherheit: Entscheide bei fünf Beispielen, ob Informationen fehlen oder Messwerte streuen. Feedback: Die Begründung zählt mehr als das Schlagwort, weil die passende Gegenmaßnahme vom Ursprung der Unsicherheit abhängt.

Anwendung

Prüfprotokoll: Fülle das vollständige KI-Prüfprotokoll für die Aussage „S7 = 18 N·m“ aus. Feedback: Richtig ist eine Lösung, die die freigegebene Quelle höher gewichtet als die KI-Behauptung und die Abweichung offen dokumentiert.
Quellenvergleich: Vergleiche eine Aussage aus dem IBM-Video mit der verlinkten NIST-Primärquelle. Feedback: Gute Arbeit trennt Videoaussage und Primärbeleg, weil eine Sekundärquelle verkürzen kann.
Testmodell: Erzeuge mit synthetischen Daten im TensorFlow Playground bewusst einen schlecht generalisierenden Zustand. Feedback: Eine gute Dokumentation beschreibt Änderung, Beobachtung und Grenze des Versuchs statt nur einen Screenshot abzugeben.

Transfer

Betriebliche Regel: Entwirf eine kurze Teamregel, wann KI-Ausgaben in Arbeitsanweisungen übernommen werden dürfen. Feedback: Eine belastbare Regel enthält Belegpflicht, Vier-Augen-Prüfung bei hohem Risiko und eine Stop-Regel bei ungeklärten Widersprüchen.
Risikobewertung: Begründe, warum derselbe KI-Fehler bei einer Lernnotiz anders zu behandeln ist als bei einer Maschinenfreigabe. Feedback: Gute Antworten beziehen mögliche Folgen und Reversibilität ein.
Fehlerkultur: Entwickle eine Vorlage für eine Schichtübergabe, in der KI-Fehler und Restunsicherheiten sichtbar bleiben. Feedback: Eine gute Vorlage verhindert, dass nachfolgende Personen eine Vermutung später als gesicherten Fakt lesen.

Medienrechte und Nutzungsrahmen

Die eingebundenen Wikimedia-Commons-Dateien wurden auf ihren Dateiseiten geprüft:

Artificial neural network.svg: CC BY-SA 3.0 / GFDL.
Confusion Matrix.png: CC0 1.0.
Calibration plot.png: BSD-Lizenz laut Commons-Dateiseite.
Confidence intervall normal dist.svg: CC BY-SA 3.0 / GFDL.

YouTube-Inhalte werden ausschließlich über den eingebetteten YouTube-Player eingebunden. Für betriebliche Schulungen sind zusätzlich die jeweiligen Organisationsregeln zu Mediennutzung und Datenschutz zu beachten.

Interaktive Aufgaben

Quiz: Teste Dein Wissen

Was ist der beste erste Schritt bei einer technischen KI-Aussage mit Quellenangabe? (Die angegebene Quelle öffnen und die konkrete Belegstelle prüfen) (!Die Aussage übernehmen, wenn sie plausibel klingt) (!Die Formulierung sprachlich verbessern) (!Die Quelle nur im Literaturverzeichnis nennen)

Wann ist eine KI-Aussage nicht belegt? (Wenn keine passende verifizierbare Quelle die konkrete Aussage stützt) (!Wenn die Antwort kurz formuliert ist) (!Wenn die Aussage eine Zahl enthält) (!Wenn die Quelle älter als ein Jahr ist)

Was ist ein Beispiel für eine Auslassung? (Der richtige Prüfdruck wird genannt, aber die zulässige Toleranz fehlt) (!Eine Quelle existiert nicht) (!Ein Zahlenwert ist falsch) (!Ein Modell verweigert eine Antwort)

Was zeigt eine Konfusionsmatrix? (Arten richtiger und falscher Klassifikationsentscheidungen) (!Die Herkunft eines Textdokuments) (!Die Lizenz eines Bildes) (!Die Versionsnummer eines Sprachmodells)

Was bedeutet epistemische Unsicherheit? (Unsicherheit durch fehlendes Wissen oder unzureichende Daten) (!Unvermeidbare Streuung in jedem Messvorgang) (!Eine sichere richtige Antwort) (!Eine juristische Kennzeichnungspflicht)

Welche Aussage über einen KI-Konfidenzwert ist korrekt? (Ein Score ist nicht automatisch die Wahrscheinlichkeit, dass eine Aussage wahr ist) (!Ein hoher Score beweist die Richtigkeit) (!Ein niedriger Score beweist einen Hardwarefehler) (!Jeder Chatbot-Score ist normiert und kalibriert)

Wie soll eine widersprochene KI-Aussage in einer technischen Freigabe behandelt werden? (Nicht übernehmen und die Abweichung dokumentieren) (!Übernehmen, wenn sie ausführlich begründet ist) (!Nur die Quellenangabe entfernen) (!Ohne Prüfung an die nächste Schicht weitergeben)

Welche Daten sind für die Übungen vorgesehen? (Fiktive Daten in lokalen oder ausdrücklich autorisierten Testumgebungen) (!Echte Kundendaten aus dem Ticketsystem) (!Passwörter aus einer Produktivumgebung) (!Ungefragt hochgeladene Maschinenprotokolle)

Warum ist eine Primärquelle bei einem Quellenvergleich wichtig? (Sie erlaubt die direkte Prüfung der ursprünglichen Aussage und ihres Kontexts) (!Sie ist immer kürzer als jede Zusammenfassung) (!Sie enthält grundsätzlich keine Fehler) (!Sie ersetzt jede fachliche Bewertung)

Was gehört in ein gutes KI-Prüfprotokoll? (Aussage, Quelle, Belegstelle, Prüfstatus, Unsicherheit und Entscheidung) (!Nur der vollständige Chatverlauf) (!Nur die Modellbezeichnung) (!Nur die endgültige Entscheidung ohne Begründung)

Memory

Herkunft	Ursprung einer Aussage oder Information
Belegstelle	konkrete Passage, die eine Aussage stützt
Confabulation	überzeugend formulierte, aber fehlerhafte oder erfundene KI-Ausgabe
Kalibrierung	Vergleich vorhergesagter Wahrscheinlichkeit mit beobachteter Häufigkeit
Restunsicherheit	nach der Prüfung verbleibende Unklarheit
Vier-Augen-Prüfung	unabhängige Kontrolle durch eine zweite fachkundige Person

Drag and Drop

Ordne die richtigen Begriffe zu.	Thema
Belegt	passende Quelle stützt die konkrete Aussage
Teilweise belegt	Quelle stützt nur einen Teil oder lässt Bedingungen offen
Nicht belegt	keine passende verifizierbare Quelle gefunden
Widersprochen	verlässliche Quelle nennt einen anderen Sachverhalt
Restunsicherheit	Unklarheit bleibt auch nach der Prüfung bestehen

Kreuzworträtsel

Herkunft	Wie heißt der Ursprung einer Information?
Beleg	Wie heißt ein Nachweis für eine Aussage?
Kalibrierung	Wie nennt man die Prüfung, ob Wahrscheinlichkeiten zu beobachteten Häufigkeiten passen?
Unsicherheit	Was muss offen dokumentiert werden, wenn Wissen oder Messlage unvollständig sind?
Freigabe	Wie heißt die formale Erlaubnis, einen technischen Zustand zu akzeptieren?
Quellenkritik	Wie heißt die methodische Prüfung von Herkunft, Aussagekraft und Kontext einer Quelle?

LearningApps

Lückentext

Offene Aufgaben

Leicht

Quellenprüfung: Markiere in einer fiktiven KI-Antwort alle Stellen, die eine Quelle benötigen.
Fehlerarten: Erstelle vier Karteikarten zu falschem Zahlenwert, erfundener Quelle, Auslassung und unbelegter Schlussfolgerung.
Prüfprotokoll: Fülle für eine Aussage aus dem Ausbildungsfall die Felder Quelle, Status und Entscheidung aus.
Unsicherheit: Formuliere drei sachliche Sätze, mit denen Du fehlende Informationen offen benennst, ohne eine Vermutung als Fakt darzustellen.

Standard

Quellenvergleich: Vergleiche dieselbe Kernaussage in NIST, BSI und einer Sekundärquelle und notiere Unterschiede im Kontext.
Konfusionsmatrix: Erfinde 20 fiktive Prüffälle und stelle richtige sowie falsche Klassifikationen in einer Konfusionsmatrix dar.
Kalibrierung: Erkläre anhand der Commons-Grafik, warum ein hoher Score allein keine technische Freigabe begründet.
Schichtübergabe: Schreibe eine kurze Übergabe, in der belegte Fakten, offene Fragen und Restunsicherheit getrennt sind.

Schwer

Risikomanagement: Entwirf eine Prüfkette für KI-gestützte Wartungshinweise mit Stop-Kriterien und Verantwortlichkeiten.
Qualitätssicherung: Entwickle fünf messbare Kriterien, mit denen ein Team die Qualität von KI-Prüfprotokollen bewertet.
Transfer: Übertrage das Verfahren auf einen anderen Ausbildungsberuf und begründe, welche Fehler dort besonders kritisch wären.
Lernvideo: Produziere mit ausschließlich fiktiven Daten ein zweiminütiges Video, das den Unterschied zwischen plausibel und belegt erklärt und die verwendeten Quellen offenlegt.

Lernkontrolle

Entscheidung unter Unsicherheit: Eine KI nennt zwei unterschiedliche Drehmomente und jeweils eine plausible Quelle. Entwickle einen sicheren Prüfweg und begründe jeden Schritt.
Risikotransfer: Erkläre, warum eine nicht belegte Aussage in einer Lernnotiz, einer Materialbestellung und einer Maschinenfreigabe unterschiedlich behandelt werden muss.
Quellenkonflikt: Zwei freigegebene Dokumente widersprechen sich. Leite ab, welche Metadaten Du zusätzlich brauchst, bevor Du entscheidest.
Prozessgestaltung: Entwirf einen Ablauf, der verhindert, dass eine KI-Vermutung bei einer Schichtübergabe zu einem scheinbaren Fakt wird.
Modellgrenze: Ein Klassifikationsmodell erreicht im Test 95 % Trefferquote. Begründe, warum diese Zahl allein noch keine Aussage über die Sicherheit eines konkreten Fehlerszenarios erlaubt.
Fehlerkultur: Begründe, warum das offene Dokumentieren eines KI-Fehlers die technische Qualität verbessern kann, obwohl dadurch zunächst mehr Unsicherheit sichtbar wird.

Lernnachweis

Für einen Lernnachweis solltest Du zeigen, dass Du:

KI-Aussagen in belegte, teilweise belegte, nicht belegte und widersprochene Aussagen einordnen kannst.
eine konkrete Belegstelle in einer freigegebenen Quelle findest und korrekt dokumentierst.
Unsicherheit von bloßer sprachlicher Vorsicht unterscheidest.
technische Folgen eines möglichen KI-Fehlers in die Entscheidung einbeziehst.
ein vollständiges KI-Prüfprotokoll für einen fiktiven Ausbildungsfall erstellst.
Sicherheits- und Datenschutzgrenzen einhältst und keine realen Produktiv-, Kunden- oder Zugangsdaten verwendest.