Auditierbare Neuronale Systeme - Neuronale Netze neu denken
Auditierbare Neuronale Systeme - Neuronale Netze neu denken
Einleitung
Auditierbare Neuronale Systeme sind künstliche neuronale Netze und ihre umgebenden Systemarchitekturen, die so gestaltet werden, dass wichtige Entscheidungen, Trainingsschritte, Datenquellen, Modellversionen, Risiken und menschliche Eingriffe nachvollziehbar geprüft werden können. Es geht also nicht nur darum, nachträglich eine schöne Erklärung für ein Ergebnis zu liefern. Ein auditierbares neuronales System soll von Anfang an so entworfen sein, dass eine fachkundige Person prüfen kann, was das System getan hat, warum es eine bestimmte Ausgabe erzeugt hat, welche Daten beteiligt waren, welche Grenzen bekannt sind und wer für Entscheidungen verantwortlich bleibt.
{{#ev:youtube| https://www.youtube.com/watch?v=hiLOLtrNMwo |500|center}}
Der Ausdruck Neuronale Netze neu denken verweist auf einen Perspektivwechsel: Klassische Deep-Learning-Modelle werden häufig vor allem nach Genauigkeit, Skalierbarkeit und Rechenleistung optimiert. Für sensible Anwendungen in Medizin, Bildung, Justiz, Personalwesen, kritischer Infrastruktur oder Finanzwesen reicht das nicht aus. Dort muss nachvollziehbar sein, ob ein System zuverlässig, fair, sicher, erklärbar, dokumentiert und überprüfbar arbeitet. Auditierbarkeit wird damit zu einem Gestaltungsprinzip der gesamten KI-Systemkette: von der Datenerhebung über das Training bis zur Nutzung im Alltag.
Grundidee: Von der Black Box zum prüfbaren System
Ein Künstliches neuronales Netz besteht aus verbundenen künstlichen Neuronen, die Eingaben schrittweise verarbeiten. Viele moderne Modelle enthalten Millionen oder Milliarden Parameter, sodass ihre inneren Entscheidungswege für Menschen schwer direkt verständlich sind. Deshalb werden sie oft als Black Box beschrieben. Der Begriff bedeutet nicht, dass nichts bekannt ist. Architektur, Trainingsdaten, Gewichte, Ausgaben und Messwerte können technisch verfügbar sein. Schwierig ist jedoch, diese Informationen in eine Form zu bringen, die für Audit, Fehleranalyse, Verantwortung und Rechtskonformität ausreicht.
Ein auditierbares neuronales System betrachtet das Modell nicht isoliert, sondern als Teil eines größeren soziotechnischen Systems. Dazu gehören Datensätze, Vorverarbeitung, Trainingscode, Modellversionen, Schnittstellen, Nutzende, Entscheidungsregeln, Sicherheitsmaßnahmen, Protokolle, Erklärmodule und Organisationsprozesse. Ein Audit fragt nicht nur: „Ist die Vorhersage richtig?“ Es fragt auch: „Ist die Vorhersage unter den richtigen Bedingungen entstanden, dokumentiert, überprüfbar, gerechtfertigt und verantwortbar?“
Auditierbarkeit, Erklärbarkeit und Interpretierbarkeit
Die Begriffe Auditierbarkeit, Erklärbarkeit und Interpretierbarkeit werden oft vermischt. Für diesen aiMOOC ist folgende Unterscheidung hilfreich:
- Erklärbarkeit: Ein System kann für eine konkrete Ausgabe eine verständliche Begründung, Visualisierung oder Merkmalsgewichtung liefern.
- Interpretierbarkeit: Die Funktionsweise eines Modells oder Modellteils ist so einfach oder so strukturiert, dass Menschen sie direkt oder mit begrenztem Aufwand verstehen können.
- Auditierbarkeit: Ein System ist so dokumentiert, protokolliert, getestet und organisatorisch eingebettet, dass unabhängige Prüfungen möglich sind.
- Mechanistische Interpretierbarkeit: Forschende versuchen, interne Strukturen wie Neuronen, Aktivierungen, Aufmerksamkeitsschichten oder Schaltkreise kausal zu verstehen.
- Verantwortbarkeit: Menschen und Organisationen können Entscheidungen begründen, Risiken abwägen und für Folgen einstehen.
Diese Unterscheidung ist wichtig, weil ein System erklärbar wirken kann, ohne wirklich auditierbar zu sein. Ein Diagramm oder eine Merkmalsliste ersetzt keine saubere Datenprovenienz, keine Versionierung, keine Risikobewertung, kein Monitoring und keine klare Verantwortlichkeit.
Warum müssen neuronale Netze neu gedacht werden?
Neuronale Netze haben große Fortschritte in Bilderkennung, Spracherkennung, maschineller Übersetzung, Empfehlungssystemen und generativer KI ermöglicht. Gleichzeitig entstehen Risiken: Modelle können fehlerhafte Muster lernen, Bias verstärken, unerwartet auf veränderte Daten reagieren, vertrauliche Informationen preisgeben oder scheinbar plausible, aber falsche Ausgaben erzeugen. Je wichtiger die Anwendung, desto größer wird der Bedarf an systematischer Prüfung.
{{#ev:youtube| https://www.youtube.com/watch?v=aircAruvnKk |500|center}}
Neu denken bedeutet deshalb nicht, neuronale Netze abzuschaffen. Es bedeutet, ihre Architektur und ihren Einsatz so zu gestalten, dass sie im Betrieb überprüfbar bleiben. Dazu gehört ein Wechsel von reiner Ergebnisorientierung zu einem umfassenden Qualitätsbegriff: Ein Modell soll nicht nur gut abschneiden, sondern auch dokumentiert, robust, sicher, datenschutzfreundlich, erklärbar und in menschliche Entscheidungsprozesse eingebettet sein.
Leitfragen für auditierbare neuronale Systeme
- Zweckbindung: Für welche Aufgabe wurde das System entwickelt und wofür darf es nicht verwendet werden?
- Datenqualität: Welche Daten wurden genutzt, wie wurden sie erhoben, bereinigt, gewichtet und geprüft?
- Modellarchitektur: Welche Architektur wurde gewählt und warum passt sie zur Aufgabe?
- Nachvollziehbarkeit: Welche Trainingsläufe, Versionen, Parameter, Prompts, Schwellenwerte und Ausgaben sind dokumentiert?
- Erklärbarkeit: Welche Erklärungen sind für Fachleute, Betroffene und Verantwortliche verständlich?
- Robustheit: Wie verhält sich das System bei Störungen, Ausreißern, Datenverschiebung oder Angriffen?
- Fairness: Werden Gruppen systematisch benachteiligt oder unterschiedlich zuverlässig behandelt?
- Menschliche Aufsicht: Wann darf oder muss ein Mensch eingreifen?
- Widerspruchsrecht: Wie können Betroffene Ergebnisse anfechten oder korrigieren lassen?
- Lebenszyklus: Wie werden Änderungen, Updates, Rückrufe und Abschaltungen dokumentiert?
Architektur eines auditierbaren neuronalen Systems
Eine auditierbare Architektur verbindet technische, organisatorische und didaktische Elemente. Sie macht nicht jedes Detail sofort einfach, aber sie schafft überprüfbare Spuren. Die folgende Struktur zeigt typische Bausteine.
Datenebene: Provenienz und Qualität
Die Datenebene umfasst Rohdaten, Labels, Metadaten, Bereinigungsschritte und Zugriffsrechte. Für Auditierbarkeit ist entscheidend, dass die Herkunft und Verarbeitung der Daten nachvollziehbar sind. Dazu gehören Datenprovenienz, Datenblätter, dokumentierte Einwilligungen, Lizenzinformationen, Ausschlusskriterien, Qualitätsmetriken und Prüfungen auf Verzerrungen. Wenn Trainingsdaten nicht nachvollziehbar sind, können spätere Fehler kaum gerecht bewertet werden.
Modellebene: Versionen, Grenzen und Erklärschnittstellen
Die Modellebene umfasst Architektur, Trainingsverfahren, Hyperparameter, Gewichtungen, Evaluationsmetriken, Modellkarten und Erklärverfahren. Eine Modellkarte beschreibt Zweck, Trainingskontext, bekannte Grenzen, geeignete Einsatzbereiche und Messwerte. Für auditierbare Systeme ist außerdem wichtig, dass Modellversionen eindeutig gekennzeichnet sind. Eine Entscheidung aus Version 2.1 darf nicht nachträglich mit Version 3.0 erklärt werden, wenn sich Verhalten und Trainingsdaten geändert haben.
Entscheidungsebene: Logs, Schwellenwerte und Unsicherheit
Die Entscheidungsebene dokumentiert, welche Eingabe zu welcher Ausgabe geführt hat. Sie enthält Zeitstempel, Modellversion, Vorverarbeitung, relevante Schwellenwerte, Konfidenzwerte, Unsicherheiten, Erklärungen und menschliche Eingriffe. Ein Audit-Log muss so gestaltet sein, dass Datenschutz und Prüfbarkeit zusammen gedacht werden. Es soll weder unnötig personenbezogene Daten sammeln noch entscheidende Prüfinformationen verlieren.
Governance-Ebene: Rollen, Regeln und Verantwortung
Die Governance-Ebene legt fest, wer Systeme entwickeln, freigeben, überwachen, ändern und abschalten darf. Dazu gehören Risikomanagement, Qualitätsmanagement, Informationssicherheit, Datenschutz-Folgenabschätzung, Schulungen, Eskalationswege und externe Prüfungen. Auditierbarkeit ist damit nicht nur eine technische Eigenschaft, sondern auch eine Organisationsleistung.
Methoden und Werkzeuge der Auditierbarkeit
Auditierbare neuronale Systeme kombinieren verschiedene technische Ansätze. Kein einzelnes Verfahren löst alle Probleme. Gute Systeme nutzen mehrere Perspektiven und prüfen, ob Erklärungen wirklich zum Modellverhalten passen.
Post-hoc-Erklärungen
Post-hoc-Methoden erklären ein bereits trainiertes Modell nachträglich. Beispiele sind LIME, SHAP, Saliency Maps oder Grad-CAM. Sie können Hinweise liefern, welche Merkmale, Pixelbereiche oder Textteile für eine Ausgabe wichtig waren. Ihr Vorteil ist die breite Einsetzbarkeit. Ihr Nachteil ist, dass sie selbst nur Modelle oder Annäherungen sein können. Deshalb müssen sie validiert und mit anderen Prüfverfahren kombiniert werden.
Interpretierbare Architektur von Anfang an
Eine zweite Strategie besteht darin, Modelle schon beim Entwurf verständlicher zu machen. Dazu gehören kleinere Modelle, Entscheidungsbäume, additive Modelle, Konzept-Zwischenschichten, neuro-symbolische Ansätze, modulare Netzwerke und klar getrennte Verantwortungsbereiche. Solche Architekturen können etwas Leistung kosten, gewinnen aber an Prüfbarkeit, Fehlerdiagnose und Vertrauen.
Mechanistische Interpretierbarkeit
Die Mechanistische Interpretierbarkeit versucht, die internen Berechnungen neuronaler Netze wie ein technisches System zu untersuchen. Statt nur Eingaben und Ausgaben zu vergleichen, werden Aktivierungen, Gewichte, Aufmerksamkeit, Schaltkreise und kausale Eingriffe analysiert. Besonders bei Transformer-Modellen wird erforscht, ob bestimmte interne Komponenten bestimmte Aufgaben übernehmen. Diese Forschung ist anspruchsvoll und noch nicht für alle realen Systeme ausreichend, aber sie eröffnet einen Weg zu tieferer Auditierbarkeit.
{{#ev:youtube| https://www.youtube.com/watch?v=0704iLc55Fs |500|center}}
Unsicherheit, Kalibrierung und Monitoring
Ein auditierbares System sollte nicht nur eine Antwort geben, sondern auch Hinweise auf Unsicherheit. Kalibrierung bedeutet, dass Konfidenzwerte ungefähr zur tatsächlichen Trefferwahrscheinlichkeit passen. Monitoring prüft, ob sich Eingabedaten im Betrieb verändern, ob Fehler zunehmen oder ob neue Nutzergruppen anders betroffen sind. Besonders wichtig ist Data Drift, also die Veränderung von Datenverteilungen gegenüber dem Training. Ohne Monitoring kann ein ehemals gutes Modell unbemerkt riskant werden.
Beispiel: Auditierbare KI in der medizinischen Bildanalyse
Stell Dir ein System vor, das Röntgenbilder vorsortiert. Ein nicht auditierbares System liefert nur „auffällig“ oder „unauffällig“. Ein auditierbares System dokumentiert zusätzlich Modellversion, Bildqualität, Trainingsgrundlage, Unsicherheit, relevante Bildbereiche, bekannte Grenzen, menschliche Prüfung und spätere Korrekturen. Ärztinnen und Ärzte behalten die Verantwortung, können aber nachvollziehen, warum das System einen Fall markiert hat.
Dieses Beispiel zeigt den Kern des Themas: Die KI-Ausgabe ist nicht das Ende, sondern der Anfang einer prüfbaren Entscheidungskette. Auditierbarkeit unterstützt Patientensicherheit, Qualitätssicherung und Lernen aus Fehlern. Sie verhindert jedoch nicht automatisch Fehler. Auch auditierbare Systeme müssen getestet, überwacht und verantwortungsvoll eingesetzt werden.
Normen, Regulierung und gesellschaftlicher Kontext
Auditierbarkeit wird durch technische Forschung, Organisationspraxis und Regulierung vorangetrieben. Der EU AI Act arbeitet risikobasiert und stellt bei Hochrisiko-Systemen Anforderungen an Risikomanagement, Datenqualität, technische Dokumentation, Protokollierung, Transparenz, menschliche Aufsicht, Genauigkeit, Robustheit und Cybersicherheit. Das NIST AI Risk Management Framework beschreibt vertrauenswürdige KI unter anderem mit Eigenschaften wie gültig, zuverlässig, sicher, resilient, erklärbar, interpretierbar, fair, transparent und verantwortbar. Die OECD betont Transparenz, verantwortliche Offenlegung, Menschenrechte und demokratische Werte. Für die Praxis bedeutet das: Auditierbarkeit ist nicht nur ein Forschungsideal, sondern wird zunehmend zu einer Voraussetzung für verantwortliche KI-Anwendungen.
Spannungsfelder
- Transparenz und Datenschutz: Je mehr protokolliert wird, desto größer kann das Risiko für personenbezogene Daten werden.
- Erklärbarkeit und Leistung: Sehr leistungsfähige Modelle sind nicht immer die verständlichsten.
- Offenlegung und IT-Sicherheit: Zu viele Details können Angriffe erleichtern, zu wenige Details erschweren Prüfung.
- Standardisierung und Innovation: Feste Prüfregeln schaffen Vergleichbarkeit, können aber neue Verfahren verlangsamen.
- Automatisierung und Verantwortung: Ein System kann unterstützen, aber Verantwortung darf nicht einfach an Technik abgegeben werden.
Kompetenzraster
| Kompetenzbereich | Du kannst ... |
|---|---|
| Grundlagen | erklären, warum neuronale Netze oft als Black Box gelten und welche Rolle Auditierbarkeit spielt. |
| Analyse | ein KI-System in Datenebene, Modellebene, Entscheidungsebene und Governance-Ebene zerlegen. |
| Bewertung | Risiken wie Bias, Data Drift, unklare Verantwortung und Scheinerklärungen beurteilen. |
| Gestaltung | Bausteine für ein auditierbares neuronales System entwerfen. |
| Transfer | Auditierbarkeit auf Beispiele aus Schule, Beruf, Medizin, Verwaltung oder Alltag übertragen. |
Interaktive Aufgaben
Quiz: Teste Dein Wissen
Was bedeutet Auditierbarkeit bei neuronalen Systemen am besten? (Ein System kann nach festgelegten Kriterien überprüft und nachvollzogen werden) (!Ein System ist immer vollständig fehlerfrei) (!Ein System benötigt keine Dokumentation) (!Ein System entscheidet immer wie ein Mensch)
Warum reicht eine hohe Genauigkeit allein für sensible KI-Anwendungen nicht aus? (Weil auch Nachvollziehbarkeit, Fairness, Sicherheit und Verantwortung wichtig sind) (!Weil Genauigkeit bei KI grundsätzlich unwichtig ist) (!Weil neuronale Netze keine Daten benötigen) (!Weil sensible Anwendungen immer ohne Technik gelöst werden müssen)
Welche Information gehört typischerweise in ein Audit-Log? (Modellversion und Zeitpunkt einer Entscheidung) (!Die Lieblingsfarbe der Entwicklerin) (!Ein zufälliger Werbeslogan) (!Ein unprüfbarer Fantasiewert)
Was beschreibt Datenprovenienz? (Die Herkunft und Verarbeitung von Daten) (!Die Geschwindigkeit eines Prozessors) (!Die Farbe einer Benutzeroberfläche) (!Die Lautstärke eines Servers)
Was ist ein zentrales Ziel von Explainable AI? (Ausgaben von KI-Systemen verständlicher zu machen) (!Alle Daten automatisch zu löschen) (!Neuronale Netze grundsätzlich zu verbieten) (!Computer ohne Modelle arbeiten zu lassen)
Welche Aussage zur mechanistischen Interpretierbarkeit passt am besten? (Sie untersucht interne Mechanismen und Komponenten eines Modells) (!Sie ignoriert die Architektur eines Modells) (!Sie ersetzt jede Datendokumentation) (!Sie ist eine Methode zur Tonaufnahme)
Was bedeutet Data Drift im Betrieb eines KI-Systems? (Die Eingabedaten verändern sich gegenüber den Trainingsbedingungen) (!Die Festplatte bewegt sich mechanisch) (!Das Modell wird automatisch kleiner) (!Die Stromversorgung wird stärker)
Warum ist menschliche Aufsicht bei Hochrisiko-KI wichtig? (Menschen sollen Risiken erkennen, eingreifen und Verantwortung übernehmen können) (!Damit KI-Systeme nie getestet werden müssen) (!Damit alle Entscheidungen geheim bleiben) (!Damit Datenqualität keine Rolle spielt)
Welche Funktion hat eine Modellkarte? (Sie beschreibt Zweck, Grenzen, Daten und Leistungswerte eines Modells) (!Sie ersetzt alle Tests) (!Sie ist eine Landkarte für Rechenzentren) (!Sie verhindert automatisch jeden Bias)
Was ist ein Risiko von Post-hoc-Erklärungen? (Sie können eine vereinfachte oder irreführende Erklärung liefern) (!Sie löschen immer das Modell) (!Sie machen Training unmöglich) (!Sie verhindern jede Visualisierung)
Memory
| Datenprovenienz | Nachweis der Herkunft von Trainingsdaten |
| Audit-Log | Zeitlich geordnete Ereignisspur |
| Modellkarte | Steckbrief zu Zweck und Grenzen |
| Unsicherheit | Hinweis auf Verlässlichkeit einer Ausgabe |
| Human Oversight | Menschliche Aufsicht |
| Mechanistische Interpretierbarkeit | Untersuchung interner Modellmechanismen |
Drag and Drop
| Ordne die richtigen Begriffe zu. | Thema |
|---|---|
| Datenprovenienz | Herkunft und Verarbeitung von Daten |
| Modellversionierung | Nachvollziehbare Entwicklung des Modells |
| Audit-Log | Prüffähige Ereignisspur |
| Kalibrierung | Verlässliche Unsicherheitsangaben |
| Human Oversight | Verantwortliche menschliche Kontrolle |
Kreuzworträtsel
| Provenienz | Wie nennt man den Nachweis der Herkunft von Daten? |
| Logbuch | Wie nennt man eine geordnete Sammlung von Ereignissen? |
| Robustheit | Wie nennt man Widerstandsfähigkeit gegen Störungen? |
| Transparenz | Wie nennt man Nachvollziehbarkeit durch Offenlegung? |
| Neuron | Wie heißt eine einzelne Verarbeitungseinheit im Netz? |
| Validierung | Wie nennt man die Prüfung, ob ein System die vorgesehenen Anforderungen erfüllt? |
LearningApps
Lückentext
Offene Aufgaben
Leicht
- Begriffe klären: Erstelle ein Glossar mit zehn Begriffen aus diesem aiMOOC und formuliere zu jedem Begriff ein eigenes Beispiel.
- Alltagsbeispiel finden: Beschreibe ein KI-System aus Deinem Alltag und notiere, welche Informationen Du für ein Audit benötigen würdest.
- Modellkarte skizzieren: Entwirf eine einfache Modellkarte für ein fiktives KI-System, das Hausaufgaben nach Themen sortiert.
- Erklärbild gestalten: Zeichne ein Schaubild, das den Unterschied zwischen Erklärbarkeit, Interpretierbarkeit und Auditierbarkeit zeigt.
Standard
- Audit-Fragen entwickeln: Formuliere einen Fragenkatalog mit mindestens 15 Prüffragen für ein neuronales System in Schule, Verwaltung oder Medizin.
- Datenprovenienz untersuchen: Wähle einen offenen Datensatz und recherchiere, welche Informationen über Herkunft, Lizenz, Erhebung und mögliche Verzerrungen verfügbar sind.
- Erklärverfahren vergleichen: Vergleiche zwei Erkläransätze wie Merkmalsgewichtung und Saliency Map anhand ihrer Stärken und Grenzen.
- Rollenmodell entwerfen: Entwickle ein Rollenmodell für Entwicklung, Freigabe, Betrieb, Kontrolle und Abschaltung eines KI-Systems.
Schwer
- Auditierbare Architektur entwerfen: Entwirf eine Systemarchitektur mit Datenebene, Modellebene, Entscheidungsebene und Governance-Ebene für eine Hochrisiko-Anwendung.
- Bias-Analyse durchführen: Entwickle ein Konzept, wie ein KI-System auf unterschiedliche Fehlerquoten bei verschiedenen Gruppen geprüft werden kann.
- Mechanistische Interpretierbarkeit erklären: Recherchiere ein Beispiel aus der Forschung und erkläre, wie interne Modellkomponenten untersucht werden.
- Ethik-Fallstudie erstellen: Schreibe eine Fallstudie, in der ein KI-System zwar genau, aber schlecht auditierbar ist, und entwickle Verbesserungen.
|
|
Lernkontrolle
- Transferanalyse: Erkläre an einem selbst gewählten Beispiel, warum eine KI-Entscheidung trotz hoher Genauigkeit problematisch sein kann, wenn Datenherkunft und Modellversion nicht dokumentiert sind.
- Architekturvergleich: Vergleiche ein Black-Box-System mit einem auditierbaren System und bewerte, welche zusätzlichen Bausteine für Verantwortung nötig sind.
- Risikobewertung: Entwickle für ein KI-System im Bildungsbereich drei Risiken, drei Gegenmaßnahmen und drei offene Fragen für ein Audit.
- Erklärkritik: Beurteile, wann eine visuelle Erklärung hilfreich ist und wann sie nur den Eindruck von Transparenz erzeugt.
- Governance-Entwurf: Entwerfe einen Ablauf, wie eine Organisation ein KI-Modell freigibt, überwacht, aktualisiert und bei Problemen stoppt.
- Perspektivwechsel: Beschreibe die Erwartungen von Entwickelnden, Betroffenen, Aufsichtspersonen und Prüforganisationen an dasselbe neuronale System.
Lernnachweis
Für einen überzeugenden Lernnachweis zu auditierbaren neuronalen Systemen solltest Du zeigen, dass Du die technische und gesellschaftliche Ebene miteinander verbinden kannst. Wichtig sind eine klare Begriffsklärung, ein nachvollziehbares Architekturmodell, eine begründete Risikoanalyse, ein Vorschlag für Dokumentation und Logs, ein reflektierter Umgang mit Erklärverfahren, ein Konzept für menschliche Aufsicht sowie eine Einschätzung der Grenzen. Besonders überzeugend ist ein eigenes Fallbeispiel, bei dem Du Daten, Modell, Entscheidung, Monitoring und Verantwortung systematisch darstellst.
OERs zum Thema
Weiterführende Orientierung
- Wikipedia: Künstliches neuronales Netz
- Wikipedia: Explainable Artificial Intelligence
- NIST: AI Risk Management Framework
- Europäische Union: Regulation EU 2024/1689
- OECD: OECD AI Principles
Links
aiMOOC-Projekte
Schulfach+
|
|
aiMOOCs
aiMOOC Projekte
|
|
THE MONKEY DANCE
{{#ev:youtube | https://youtu.be/rFhZlg38Zf8?si=9KdMNZYRkRD81YTo%7C 500 | center}}
|
{{#ev:youtube | https://youtu.be/Ob7etf9QuBo?si=t_NBA71bWg3Rq3LI%7C 500 | center}}
|
|