KI-Agenten Observability From Vibe Coding to Agentic Coding - VideoQuiz
KI-Agenten Observability From Vibe Coding to Agentic Coding - VideoQuiz
{{#ev:youtube|https://www.youtube.com/watch?v=XpYbNqsereM%7C500%7Ccenter}}
BLOCKIERT: Für dieses Video liegt in diesem Lauf kein ausreichend verwertbares Transkript für 10 belastbare Quizfragen vor; es wurde keine YouTube-Beschreibung als Ersatz verwendet.
Teste Dein Wissen
Warum reicht es bei autonomen KI-Agenten nicht mehr aus, nur das Endergebnis zu betrachten? (Weil der Weg zur Entscheidung viele Zwischenschritte und Tool-Aufrufe umfasst, bei denen Fehler passieren können.) (!Weil KI-Agenten immer die gleiche Antwort geben.) (!Weil das Endergebnis von Menschen nicht gelesen werden kann.) (!Weil KI-Agenten keine Texte mehr generieren können.)
Was versteht man unter einem "Trace" in der KI-Beobachtbarkeit? (Die lückenlose Aufzeichnung eines gesamten Lösungsversuchs eines KI-Agenten.) (!Ein spezielles Programmierwerkzeug zur Code-Erstellung.) (!Die Geschwindigkeit, mit der eine KI antwortet.) (!Ein Fehler im neuronalen Netz, der die KI blockiert.)
Welcher Begriff beschreibt einen klar abgegrenzten Teilabschnitt innerhalb eines Traces, wie z. B. einen einzelnen Tool-Aufruf? (Span) (!Run) (!Event) (!Log)
Wie ist die Hierarchie eines Traces aufgebaut? (Ein Root-Span steht ganz oben und enthält mehrere untergeordnete Child-Spans.) (!Ein Log steht ganz oben und steuert alle Runs.) (!Alle Spans sind gleichberechtigt und ungeordnet.) (!Ein Event startet den Trace und beendet den Root-Span.)
Welche vier Schritte durchläuft ein KI-Agent typischerweise bei einem Tool-Aufruf? (Entscheidung, Formulierung, Ausführung und Interpretation.) (!Start, Fehler, Abbruch und Neustart.) (!Programmierung, Testen, Löschen und Speichern.) (!Suchen, Finden, Kopieren und Einfügen.)
Was ist der Unterschied zwischen "Output-Eval" und "Trace-Eval"? (Output-Eval bewertet nur die finale Antwort, während Trace-Eval den gesamten Prozess und die Tool-Nutzung beurteilt.) (!Output-Eval misst die Geschwindigkeit, Trace-Eval die Kosten.) (!Output-Eval wird von Menschen gemacht, Trace-Eval nur von Maschinen.) (!Es gibt keinen Unterschied, beide Begriffe bedeuten dasselbe.)
Was ist ein Beispiel für einen "schweren Richtlinienverstoß" eines Reisebuchungs-Agenten? (Das Buchen eines nicht genehmigten Fluges.) (!Ein doppelter Aufruf desselben Tools.) (!Eine leicht unhöfliche Formulierung in der Antwort.) (!Eine Verzögerung der Antwort um wenige Sekunden.)
Warum fordert der EU AI Act (Gesetz über künstliche Intelligenz) Tracing für Hochrisiko-KI? (Um die automatische Aufzeichnung von Ereignissen und damit die Rückverfolgbarkeit zu gewährleisten.) (!Um die Entwicklung von KI-Systemen komplett zu verbieten.) (!Um sicherzustellen, dass KI-Systeme keine Energie verbrauchen.) (!Um alle KI-Agenten weltweit kostenlos zur Verfügung zu stellen.)
Welche Datenschutz-Maßnahme ist bei der Speicherung von Traces besonders wichtig? (Das Schwärzen Maskieren von sensiblen personenbezogenen Daten.) (!Das Veröffentlichen aller Traces im Internet.) (!Das unbegrenzte Speichern aller Daten ohne Löschfrist.) (!Die Weitergabe aller Daten an externe Werbepartner.)
Was kann Tracing bezüglich der inneren Funktionsweise eines neuronalen Netzes NICHT leisten? (Es kann nicht erklären, warum das neuronale Netz die Gewichte im Inneren genau so verknüpft hat.) (!Es kann nicht zeigen, welche Tools aufgerufen wurden.) (!Es kann nicht messen, wie lange ein Tool-Aufruf gedauert hat.) (!Es kann nicht dokumentieren, ob ein Fehler aufgetreten ist.)
Offene Aufgaben
Leicht
- Begriffe klären: Erkläre mit eigenen Worten den Unterschied zwischen einem normalen Chatbot und einem autonomen KI-Agenten.
- Das Mathe-Beispiel: Warum wird im Video die Arbeit eines KI-Agenten mit einer Mathearbeit in der Schule verglichen? Erkläre kurz.
- Spans im Alltag: Stell dir vor, du planst einen Schulausflug. Was wären in diesem Ablauf die einzelnen "Spans" (Teilschritte)?
- Fehlersuche: Nenne zwei einfache Gründe, warum ein KI-Agent ein falsches Ergebnis liefern könnte, obwohl er selbst keinen Programmierfehler hat.
Standard
- Der Reise-Agent: Beschreibe die vier Schritte eines Tool-Aufrufs am Beispiel eines KI-Agenten, der ein Bahnticket für dich buchen soll.
- Output vs. Trace: Warum kann eine richtige Antwort einer KI trotzdem das Ergebnis eines schlechten Prozesses sein? Finde ein Beispiel.
- Datenschutz im Trace: Welche Gefahren für den Datenschutz entstehen, wenn ein KI-Agent mit echten Kundendaten arbeitet und alle Schritte aufgezeichnet werden?
- EU AI Act: Recherchiere kurz, was der EU AI Act ist, und erkläre, warum "Rückverfolgbarkeit" für die Sicherheit von KI-Systemen so wichtig ist.
Schwer
- Vibe Coding vs. Agentic Coding: Diskutiere, was der Unterschied zwischen "Vibe Coding" (einfaches Ausprobieren von Prompts) und "Agentic Coding" (systematisches Entwickeln mit Agenten) sein könnte.
- Das 'Was' und 'Warum: Erkläre den Unterschied zwischen der Beobachtbarkeit des Prozesses (Tracing) und der Interpretierbarkeit des neuronalen Netzes. Warum bleibt die KI eine Blackbox?
- Verantwortung delegieren?: Kann man die Verantwortung für eine Fehlentscheidung an einen KI-Agenten übertragen? Begründe deine Meinung ausführlich.
- Eigene Richtlinien entwerfen: Erstelle ein kurzes Regelwerk (Governance) für einen KI-Agenten an deiner Schule, der Schülern bei den Hausaufgaben hilft. Welche Daten dürfen aufgezeichnet werden und wer darf sie sehen?
| <inputbox>
type=create break=no preload=CHAT GPT TEXT HIER EINFÜGEN default= width=30 placeholder= Dein MOOC Titel buttonlabel=MOOC erstellen </inputbox> |
|
|
Links
aiMOOC-Projekte
Schulfach+
|
|
aiMOOCs
aiMOOC Projekte
|
|
THE MONKEY DANCE
{{#ev:youtube | https://youtu.be/rFhZlg38Zf8?si=9KdMNZYRkRD81YTo%7C 500 | center}}
|
{{#ev:youtube | https://youtu.be/Ob7etf9QuBo?si=t_NBA71bWg3Rq3LI%7C 500 | center}}
|
|
| <inputbox>
type=create break=no preload=MOOCit Vorlage default= width=30 placeholder= Dein MOOC Titel buttonlabel=MOOC erstellen </inputbox> |