Eskalation Prompt Injection From Vibe Coding to Agentic Coding - VideoQuiz
Eskalation Prompt Injection From Vibe Coding to Agentic Coding - VideoQuiz
{{#ev:youtube|https://www.youtube.com/watch?v=LsYE9bmoNwE%7C500%7Ccenter}}
BLOCKIERT: Für dieses Video liegt in diesem Lauf kein ausreichend verwertbares Transkript für 10 belastbare Quizfragen vor; es wurde keine YouTube-Beschreibung als Ersatz verwendet.
Teste Dein Wissen
Was ist das Grundproblem bei einer Prompt Injection? (Eine Eingabe überschreibt die eigentlichen Systemregeln der KI.) (!Die KI vergisst ihre Programmiersprache.) (!Der Computer stürzt komplett ab.) (!Die Internetverbindung wird unterbrochen.)
Welcher Satz wird im Video als typisches Beispiel für eine Prompt Injection genannt? (Ignoriere alle bisherigen Anweisungen) (!Lösche das System sofort) (!Bitte hilf mir beim Lernen) (!Schreibe ein langes Gedicht)
Was unterscheidet einen direkten von einem indirekten Angriff? (Bei einem indirekten Angriff verstecken sich die schädlichen Befehle in externen Daten wie Webseiten oder PDFs.) (!Direkte Angriffe funktionieren nur ohne Internet.) (!Indirekte Angriffe werden immer von Robotern ausgeführt.) (!Es gibt keinen Unterschied zwischen beiden Angriffsarten.)
Was bedeutet die Abkürzung RAG im Zusammenhang mit KI-Systemen? (Retrieval-Augmented Generation) (!Random Access Gateway) (!Rapid Agent Growth) (!Real-time Action Generator)
Warum sind KI-Agenten, die selbstständig Aktionen ausführen können, besonders gefährdet? (Weil ein reines Textproblem zu einem riskanten Aktionsproblem werden kann.) (!Weil sie keine Verbindung zum Internet haben.) (!Weil sie nur sehr langsam arbeiten können.) (!Weil sie teurer in der Anschaffung sind.)
Wie können sensible Daten bei einem Angriff unbemerkt abfließen? (Indem die KI angewiesen wird, Daten an eine präparierte URL anzuhängen.) (!Indem die KI den Bildschirm des Nutzers fotografiert.) (!Durch das automatische Herunterfahren des Computers.) (!Indem die KI laut die Passwörter vorliest.)
Was besagt das Prinzip des Least Privilege (geringstmögliche Rechte)? (Ein KI-Werkzeug sollte nur genau die Rechte erhalten, die es für seine Aufgabe unbedingt benötigt.) (!Jedes KI-System sollte immer alle Admin-Rechte besitzen.) (!Die KI darf überhaupt keine Daten mehr verarbeiten.) (!Nutzer müssen für jede Eingabe bezahlen.)
Was versteht man unter Human-in-the-Loop? (Wichtige oder riskante Aktionen der KI müssen erst von einem Menschen bestätigt werden.) (!Ein Mensch muss den Code der KI komplett auswendig lernen.) (!Die KI arbeitet völlig ohne menschliche Kontrolle.) (!Der Nutzer muss im Kreis laufen, während die KI rechnet.)
Was ist das Ziel von Red Teaming? (Gezielte Angriffe auf das eigene System zu simulieren, um Schwachstellen vor dem echten Einsatz zu finden.) (!Ein neues Design für die Benutzeroberfläche zu entwerfen.) (!Die KI besonders schnell antworten zu lassen.) (!Ein Team aus roten Robotern zu bauen.)
Welche entscheidende Frage sollte man sich laut Video beim Entwurf einer KI-Architektur stellen? (Nutzt die KI Daten oder kommandieren die Daten die KI?) (!Wie viele Farben hat das Logo der KI?) (!Kann die KI besser rechnen als ein Taschenrechner?) (!Wie schnell kann die KI ein Bild zeichnen?)
Offene Aufgaben
Leicht
- Prompt Injection erklären: Erkläre in eigenen Worten, was man unter einer Prompt Injection versteht. Nutze ein einfaches Beispiel.
- Direkter vs. indirekter Angriff: Beschreibe den Unterschied zwischen einem direkten und einem indirekten Angriff auf eine KI.
- Beispiele für externe Daten: Nenne drei Beispiele für externe Datenquellen, in denen sich ein indirekter Prompt-Injection-Angriff verstecken könnte.
- Das Prinzip Human-in-the-Loop: Warum ist es sinnvoll, dass ein Mensch wichtige Entscheidungen einer KI bestätigen muss? Erkläre kurz.
Standard
- RAG-Sicherheitslücke untersuchen: Erkläre, wie ein RAG-System (Retrieval-Augmented Generation) durch ein manipuliertes Dokument "vergiftet" werden kann.
- KI-Agenten und Risiken: Diskutiere, warum die Gefahr steigt, wenn eine KI nicht nur Texte schreibt, sondern auch E-Mails senden oder Dateien löschen kann.
- Das Prinzip der minimalen Rechte: Überlege dir ein Szenario für eine Schul-KI. Welche Rechte sollte diese KI haben und welche sollten ihr entzogen werden (Least Privilege)?
- Datenabfluss verhindern: Beschreibe einen Weg, wie Angreifer versuchen, an geheime API-Schlüssel zu kommen, und wie man dies verhindern kann.
Schwer
- Defense-in-Depth Konzept erstellen: Entwirf ein mehrstufiges Sicherheitskonzept (Defense-in-Depth) für einen KI-Chatbot, der auf einer Schul-Webseite eingesetzt wird.
- Red Teaming Simulation planen: Plane eine fiktive "Red Teaming"-Sitzung für ein neues KI-Projekt an deiner Schule. Welche Angriffe würdest du testen?
- Analyse der semantischen Unschärfe: Diskutiere, warum die menschliche Sprache (natürliche Sprache) es für Computer so schwer macht, zwischen "Befehl" und "Text" zu unterscheiden.
- Ethische und gesellschaftliche Folgen: Welche gesellschaftlichen Gefahren siehst du, wenn immer mehr wichtige Systeme (wie Banken oder Krankenhäuser) von KI-Agenten gesteuert werden?
| <inputbox>
type=create break=no preload=CHAT GPT TEXT HIER EINFÜGEN default= width=30 placeholder= Dein MOOC Titel buttonlabel=MOOC erstellen </inputbox> |
|
|
Links
aiMOOC-Projekte
Schulfach+
|
|
aiMOOCs
aiMOOC Projekte
|
|
THE MONKEY DANCE
{{#ev:youtube | https://youtu.be/rFhZlg38Zf8?si=9KdMNZYRkRD81YTo%7C 500 | center}}
|
{{#ev:youtube | https://youtu.be/Ob7etf9QuBo?si=t_NBA71bWg3Rq3LI%7C 500 | center}}
|
|
| <inputbox>
type=create break=no preload=MOOCit Vorlage default= width=30 placeholder= Dein MOOC Titel buttonlabel=MOOC erstellen </inputbox> |