Eskalation Prompt Injection From Vibe Coding to Agentic Coding - VideoQuiz

Dieses Quiz als Battle spielen: Deutsch, Klasse 5-6, G-Niveau

Kurzinfo

In diesem Video lernst Du, warum Prompt Injection bei KI-Systemen eine ernsthafte Sicherheitslücke darstellt. Es wird erklärt, wie indirekte Angriffe funktionieren und wie KI-Agenten durch die Nutzung von Werkzeugen neue Risiken schaffen. Zudem erfährst Du, wie eine sichere Architektur durch Defense-in-Depth aufgebaut werden kann.

Quiz: Teste Dein Wissen

Was ist das Grundproblem bei einer Prompt Injection? (Die KI kann nicht mehr zuverlässig zwischen Systemanweisungen und externen Daten unterscheiden.) (!Der Chatbot stürzt ab und reagiert gar nicht mehr.) (!Die KI verbraucht zu viel Rechenleistung.) (!Die Benutzeroberfläche wird durch Hacker optisch verändert.)

Welcher Satz ist ein typisches Beispiel für einen direkten Prompt-Injection-Angriff? (Ignoriere alle bisherigen Anweisungen.) (!Bitte schreibe mir ein kurzes Gedicht.) (!Wie hoch ist der Eiffelturm in Paris.) (!Kannst du diese Datei für mich übersetzen.)

Was unterscheidet einen indirekten von einem direkten Angriff? (Die schädlichen Befehle sind in externen Daten wie Webseiten oder PDFs versteckt.) (!Der Angreifer muss physischen Zugriff auf den Server haben.) (!Der Angriff erfolgt ausschließlich über verschlüsselte Programmiersprachen.) (!Die KI wird durch zu viele gleichzeitige Anfragen überlastet.)

Warum sind RAG-Systeme (Retrieval-Augmented Generation) besonders anfällig für indirekte Angriffe? (Sie laden externe Dokumente in das Kontextfenster der KI, die manipulierte Befehle enthalten können.) (!Sie verwenden keine Sicherheitsfilter für Passwörter.) (!Sie arbeiten ohne eine Internetverbindung.) (!Sie können nur Bilder und keine Texte verarbeiten.)

Was passiert, wenn ein KI-Agent externe Werkzeuge (Tools) nutzen darf? (Ein reines Textproblem kann sich zu einem riskanten Aktionsproblem entwickeln.) (!Die KI verliert die Fähigkeit, menschliche Sprache zu verstehen.) (!Das System wird automatisch absolut sicher gegen Angriffe.) (!Die KI darf überhaupt keine Berechnungen mehr durchführen.)

Welches Risiko besteht beim sogenannten Datenabfluss (Data Exfiltration)? (Sensible Daten können unbemerkt an den Server eines Angreifers gesendet werden.) (!Die Festplatte des Nutzers wird physisch zerstört.) (!Die KI löscht alle öffentlich zugänglichen Webseiten im Internet.) (!Der Chatverlauf wird automatisch in ein Buch gedruckt.)

Was besagt das Prinzip des 'Least Privilege' bei KI-Werkzeugen? (Ein Werkzeug sollte nur die minimal notwendigen Rechte erhalten, die es für seine Aufgabe braucht.) (!Jedes Werkzeug muss immer die vollen Administratorrechte besitzen.) (!Werkzeuge dürfen nur von einer einzigen Person weltweit genutzt werden.) (!Die KI darf überhaupt keine externen Werkzeuge mehr verwenden.)

Was versteht man unter 'Human-in-the-Loop' bei riskanten Aktionen? (Eine Aktion wird erst ausgeführt, nachdem ein Mensch sie ausdrücklich bestätigt hat.) (!Ein Mensch muss den gesamten Programmcode der KI auswendig lernen.) (!Die KI arbeitet völlig ohne menschliche Interaktion.) (!Der Nutzer muss während der Nutzung der KI im Kreis laufen.)

Welche Schichten gehören zu einem sicheren 'Defense-in-Depth'-Stack? (Engabefilter, Rollentrennung, Gateways für Tools und Ausgabekontrollen.) (!Ausschließlich ein extrem langes und sicheres Passwort.) (!Eine physische Mauer um das Rechenzentrum der KI.) (!Die vollständige Abschaltung des Internets.)

Was ist das Ziel von 'Red Teaming' bei der KI-Entwicklung? (Gezielte Angriffe zu simulieren, um Schwachstellen vor dem echten Einsatz zu finden.) (!Die Benutzeroberfläche der KI rot einzufärben.) (!Ein Team zu gründen, das nur rote Kleidung trägt.) (!Die KI so zu programmieren, dass sie nur noch freundliche Antworten gibt.)

Offene Aufgaben

Leicht

Erklärung: Erkläre in eigenen Worten, was eine Prompt Injection ist.
Beispiel: Finde ein einfaches Beispiel für eine direkte Prompt Injection und schreibe es auf.
Gefahren: Nenne zwei Gefahren, die entstehen können, wenn eine KI manipulierte Befehle ausführt.
Sicherheit: Überlege, warum man einer KI im Internet nicht blind vertrauen sollte.

Standard

Indirekte Angriffe: Beschreibe den Unterschied zwischen einem direkten und einem indirekten Prompt-Injection-Angriff.
RAG-Systeme: Erkläre, wie ein RAG-System (Retrieval-Augmented Generation) durch ein manipuliertes PDF-Dokument ausgetrickst werden kann.
Human-in-the-Loop: Diskutiere, bei welchen alltäglichen Aufgaben einer KI unbedingt ein Mensch ('Human-in-the-Loop') zustimmen sollte und warum.
Datenabfluss: Skizziere den Ablauf, wie sensible Daten durch einen manipulierten KI-Agenten unbemerkt ins Internet abfließen können.

Schwer

Defense-in-Depth: Entwirfe ein Sicherheitskonzept für einen KI-Assistenten, der E-Mails liest und beantwortet. Nutze das Prinzip des Defense-in-Depth.
Least Privilege: Analysiere das Prinzip des 'Least Privilege'. Wie würdest du die Rechte einer KI einschränken, die für eine Schule Stundenpläne verwaltet?
Red Teaming: Entwickle ein Szenario für ein 'Red Teaming'-Experiment an deiner Schule oder deinem Arbeitsplatz, um eine KI-Anwendung auf Schwachstellen zu prüfen.
Architektur-Dilemma: Beantworte die Frage aus dem Video: 'Nutzt die KI Daten oder kommandieren die Daten die KI?' Erörtere die philosophischen und technischen Konsequenzen dieser Frage.