Die Druckversion wird nicht mehr unterstützt und kann Darstellungsfehler aufweisen. Bitte aktualisiere deine Browser-Lesezeichen und verwende stattdessen die Standard-Druckfunktion des Browsers.

aiMOOC

Jugendprojekt nach Wirkungskriterien auswerten

QR-Code

Einleitung

In diesem Werkstattkurs lernst Du, ein bereits umgesetztes Jugendprojekt mit vorher festgelegten Wirkungskriterien auszuwerten. Du vergleichst Vorher-Nachher-Daten, prüfst Zielwerte und schreibst am Ende einen kurzen Evaluationsbericht. Besonders wichtig ist dabei eine saubere Trennung: Eine beobachtete Veränderung ist noch kein sicherer Beweis dafür, dass das Projekt diese Veränderung verursacht hat.

Der Kurs ist für den Einstieg ab Klasse 7 geeignet. Für das M-Niveau vertiefst Du Prozent- und Kriterienvergleiche. Auf E-Niveau prüfst Du zusätzlich die Aussagekraft des Designs, alternative Erklärungen und einen verbesserten nächsten Prüfschritt.

Alle Projektdaten in diesem Kurs sind vollständig fiktive Übungsdaten. Es gibt keine realen Jugendlichen, keine echten personenbezogenen Datensätze und keine erfundenen Zitate, die als reale Quellen ausgegeben werden.

Medienrecht: Foto von NYAA Council, Wikimedia Commons, CC BY-SA 4.0. Das Foto zeigt eine reale Jugend-Workshop-Situation, gehört aber nicht zum fiktiven Projekt dieses Kurses.

Lernziele

Nach dem Kurs kannst Du einen vorher festgelegten Maßstab von einem nachträglich gewählten Erfolgsargument unterscheiden. Du kannst Indikatoren aus Vorher-Nachher-Daten berechnen, Reichweite von berücksichtigten Stimmen trennen, Unsicherheiten benennen und eine vorsichtige Aussage über mögliche Wirkungsbeiträge formulieren. Außerdem kannst Du einen konkreten nächsten Prüfschritt planen.

Werkstattkurs: Ziel, Dauer und Produkt

Bereich	Festlegung
Zielgruppe	Einstieg ab Klasse 7; Vertiefung auf M- und E-Niveau
Dauer	etwa 4 Unterrichtsstunden à 45 Minuten
Arbeitsweise	Daten lesen, rechnen, Kriterien prüfen, Urteile begründen, Bericht schreiben
Endprodukt	Evaluationsbericht mit maximal 300 Wörtern
Pflichtbestandteile	ein belegter Erfolg, eine offene Frage, eine Unsicherheit zur Ursache, ein konkreter nächster Prüfschritt
Datenstatus	vollständig fiktive Übungsdaten

Methodischer Kompass

Zielerreichung ist nicht dasselbe wie Ursache

Die offiziellen Verwaltungsvorschriften zur Bundeshaushaltsordnung unterscheiden bei einer Erfolgskontrolle zwischen Zielerreichungskontrolle und Wirkungskontrolle. Bei der Zielerreichung wird geprüft, ob ein geplantes Ziel erreicht wurde. Bei der Wirkungskontrolle wird zusätzlich gefragt, ob die Maßnahme für die Zielerreichung ursächlich war. Für unseren Schulkurs ist diese Trennung zentral.

Die britische Regierung beschreibt im Magenta Book für belastbare Wirkungsaussagen den Gedanken eines Kontrafaktums: Man benötigt eine begründete Vorstellung davon, was ohne die Maßnahme passiert wäre. Ein einfacher Vorher-Nachher-Vergleich ohne Vergleichsgruppe kann eine Veränderung zeigen, liefert aber nur eine schwache Grundlage für eine sichere Kausalbehauptung.

Merksatz: Du darfst sicher sagen, was sich in Deinen Daten verändert hat. Du darfst nur so sicher über eine Ursache sprechen, wie Dein Untersuchungsdesign es erlaubt.

Medienrecht: Video der Deutschen Stiftung für Engagement und Ehrenamt auf YouTube. Im Kurs wird es nur eingebettet. Eine freie Nachnutzungslizenz wird hier nicht unterstellt.

Output, Outcome und Wirkung

Ein Output beschreibt zunächst eine erbrachte Leistung oder erreichte Reichweite, etwa die Zahl der Teilnehmenden. Ein Outcome bezeichnet eine Veränderung bei der Zielgruppe, etwa neues Wissen oder eine veränderte Fähigkeit. Eine hohe Eingangs- oder Teilnehmendenzahl beweist deshalb noch keine Wirkung.

Die Deutsche Stiftung für Engagement und Ehrenamt erläutert in ihrer öffentlich zugänglichen Videoreihe, dass Indikatoren Hinweise auf Projektfortschritte liefern. Für eine seriöse Auswertung müssen sie zu vorher formulierten Zielen passen.

Medienrecht: Video der Deutschen Stiftung für Engagement und Ehrenamt auf YouTube. Einbettung als Streaming-Angebot; keine Behauptung einer freien Lizenz.

Stimmen zählen heißt mehr als Menschen zählen

Bei einem Beteiligungsprojekt ist eine große Reichweite wertvoll. Sie sagt aber noch nicht, ob Beiträge tatsächlich gehört, geprüft oder beantwortet wurden. Die Qualitätsstandards für Kinder- und Jugendbeteiligung des Bundesjugendministeriums betonen transparente Ziele, nachvollziehbare Prozesse, gleichwertig ernst genommene Stimmen und eine Evaluation anhand vorher festgelegter Ziele.

Für diese Werkstatt gilt deshalb:

Begriff	Bedeutung im Kurs
Eingangsanzahl	Zahl der Anmeldungen oder Kontakte
Reichweite	Zahl unterschiedlicher Jugendlicher, die mindestens einmal teilgenommen haben
auswertbarer Beitrag	dokumentierter inhaltlicher Vorschlag oder begründete Rückmeldung
berücksichtigte Stimme	mindestens ein dokumentierter Beitrag einer Person wurde in einem Entscheidungsprotokoll erkennbar geprüft und erhielt eine nachvollziehbare Rückmeldung
übernommener Vorschlag	Vorschlag wurde tatsächlich umgesetzt oder beschlossen

Wichtig: Ein abgelehnter Vorschlag kann trotzdem ernsthaft berücksichtigt worden sein, wenn er geprüft und nachvollziehbar beantwortet wurde.

Material A: Projektakte „Jugendplatz Nord“

Das folgende Projekt ist erfunden und nur für diese Lernwerkstatt konstruiert.

Ausgangslage: Eine fiktive Gemeinde plant einen Jugendplatz neu. Vor Projektbeginn wird eine kurze Ausgangsbefragung durchgeführt. Anschließend läuft acht Wochen lang das Beteiligungsprojekt „Jugendplatz Nord“ mit Schulbesuchen, Treffen im Jugendzentrum, Kontakten zu Sportgruppen und einer offenen Online-Ideenwand.

Projektziel: Jugendliche sollen besser wissen, wie sie sich kommunal beteiligen können, mehr Einflussmöglichkeiten wahrnehmen und erleben, dass ihre Vorschläge nachvollziehbar bearbeitet werden.

Vorab festgelegte Kriterien

Die folgenden Kriterien wurden vor der Auswertung festgelegt. Sie dürfen nach Sichtung der Ergebnisse nicht einfach verändert werden.

Kennung	Kriterium	Typ	Erfolgsschwelle
K1	Reichweite	Output	mindestens 60 unterschiedliche Jugendliche nehmen mindestens einmal teil
K2	wahrgenommene Einflussmöglichkeit	Outcome	Mittelwert nach dem Projekt mindestens 3,0 von 5 und Anstieg gegenüber vorher um mindestens 0,7 Punkte
K3	Wissen über Beteiligungswege	Outcome	nach dem Projekt können mindestens 60 Prozent der Befragten zwei konkrete kommunale Beteiligungswege nennen
K4	nachvollziehbare Rückmeldung	Prozessqualität	mindestens 80 Prozent der abschließend dokumentierten Vorschläge erhalten innerhalb von 14 Tagen eine begründete Rückmeldung
K5	Stimmenmix	Beteiligungsqualität	aus allen vier Zugangswegen liegen auswertbare Beiträge vor und kein einzelner Zugangsweg stellt mehr als 50 Prozent der beitragenden Jugendlichen

Material B: Vorher-Nachher-Daten

Datenherkunft: T0 ist eine Befragung vor Beginn der Projektaktivitäten mit 48 ausgefüllten Bögen. T1 ist eine Befragung direkt nach Projektende mit 44 ausgefüllten Bögen. Die Bögen wurden nicht personenbezogen miteinander verknüpft. Deshalb wissen wir nicht, ob genau dieselben Jugendlichen beide Male geantwortet haben.

Indikator	Vorher T0	Nachher T1	Beobachtete Veränderung
Mittelwert Aussage „Ich weiß, wie ich in meiner Gemeinde Einfluss nehmen kann“ auf Skala 1 bis 5	2,2	3,3	plus 1,1 Punkte
mindestens zwei kommunale Beteiligungswege korrekt genannt	12 von 48 gleich 25 Prozent	30 von 44 gleich rund 68 Prozent	plus rund 43 Prozentpunkte
Absicht, sich in den nächsten drei Monaten noch einmal einzubringen	21 von 48 gleich rund 44 Prozent	25 von 44 gleich rund 57 Prozent	plus rund 13 Prozentpunkte

Die dritte Zeile ist ein zusätzlicher Beobachtungswert. Für ihn wurde vorher keine Erfolgsschwelle vereinbart. Deshalb darf er beschrieben werden, aber er sollte nicht nachträglich als offizielles Erfolgskriterium ausgegeben werden.

Was aus diesen Daten sicher folgt

Sicher beobachtet werden kann, dass die gemessenen Werte in T1 höher liegen als in T0. Für K2 und K3 sind die vorher festgelegten Schwellen erreicht. Nicht sicher folgt daraus, dass ausschließlich das Projekt diese Unterschiede verursacht hat.

Mögliche andere Erklärungen sind eine andere Zusammensetzung der Befragten, weitere schulische Aktivitäten zur Beteiligung, Selbstselektion besonders engagierter Jugendlicher oder normale Lern- und Reifungsprozesse. Diese Möglichkeiten machen die beobachtete Veränderung nicht wertlos, aber sie begrenzen die Sicherheit einer Ursachenaussage.

Material C: Reichweite, Stimmen und Entscheidungen

Medienrecht: Foto von 3BRBS, Wikimedia Commons, CC BY-SA 3.0. Es zeigt eine reale Feedback-Sitzung bei einer Wikimedia-Konferenz und dient nur als Beispiel für dokumentiertes gemeinsames Feedback.

Zählwerte des fiktiven Projekts

Größe	Wert	Was sie aussagt
Anmeldungen oder Erstkontakte	103	Eingangsinteresse
unterschiedliche Jugendliche mit mindestens einer Teilnahme	84	Reichweite
ausgefüllte T1-Fragebögen	44	Datengrundlage der Nachbefragung
Jugendliche mit mindestens einem auswertbaren inhaltlichen Beitrag	41	beitragende Personen
Jugendliche, deren Beitrag nachweislich im Entscheidungsprotokoll geprüft und beantwortet wurde	37	berücksichtigte Stimmen nach Kursdefinition
abschließend dokumentierte Vorschläge	20	Entscheidungseinheiten
davon mit begründeter Rückmeldung innerhalb von 14 Tagen	17	Rückmeldequote
davon tatsächlich übernommen	8	umgesetzte oder beschlossene Vorschläge

Herkunft der 41 beitragenden Jugendlichen

Zugangsweg	Zahl beitragender Jugendlicher	Anteil
Jugendzentrum	22	rund 54 Prozent
Schulbesuche	9	rund 22 Prozent
Sportgruppen	6	rund 15 Prozent
offene Online-Ideenwand	4	rund 10 Prozent

Damit sind zwar alle vier Zugangswege vertreten, aber der größte Zugangsweg stellt rund 54 Prozent. K5 ist deshalb nicht vollständig erfüllt, weil die vorab gesetzte 50-Prozent-Grenze überschritten wird.

Material D: Rechen- und Urteilshilfe

Rechnen auf Einstiegs- und M-Niveau

Ein Prozentpunkt beschreibt die absolute Differenz zwischen zwei Prozentwerten. Von 25 Prozent auf 68 Prozent sind es rund 43 Prozentpunkte.

Die Rückmeldequote für K4 berechnest Du mit 17 geteilt durch 20. Das ergibt 0,85 und damit 85 Prozent. Die Schwelle von 80 Prozent ist erreicht.

Der größte Stimmenanteil berechnet sich mit 22 geteilt durch 41. Das sind rund 54 Prozent. Die Grenze von höchstens 50 Prozent ist überschritten.

Vertiefung auf E-Niveau

Prüfe zusätzlich, welche Unsicherheiten aus dem Untersuchungsdesign entstehen. Weil T0 und T1 nicht über anonyme Codes derselben Personen verbunden wurden, kann sich ein Teil der Veränderung durch unterschiedliche Gruppen erklären. Weil keine geeignete Vergleichsgruppe vorhanden ist, fehlt ein belastbares Kontrafaktum. Eine starke Kausalaussage wäre deshalb nicht gerechtfertigt.

Eine vorsichtige Formulierung lautet: Die Daten sind mit einem positiven Beitrag des Projekts vereinbar, belegen aber keine alleinige Ursache.

Werkstattauftrag

Schritt 1: Kriterien prüfen

Vergleiche jedes Kriterium aus Material A mit den Daten aus Material B und C. Kennzeichne es als erfüllt, nicht erfüllt oder nur teilweise prüfbar. Notiere zu jeder Entscheidung genau eine Datenstelle.

Schritt 2: Beobachtung und Ursache trennen

Formuliere zu K2 und K3 jeweils zwei Sätze. Satz eins soll nur die beobachtete Veränderung beschreiben. Satz zwei soll erklären, warum die Ursache noch nicht sicher feststeht.

Schritt 3: Stimmenbilanz erstellen

Vergleiche 103 Erstkontakte, 84 Teilnehmende, 41 beitragende Jugendliche, 37 berücksichtigte Stimmen und 8 übernommene Vorschläge. Erkläre, warum diese Zahlen unterschiedliche Fragen beantworten.

Schritt 4: Bericht schreiben

Schreibe einen Evaluationsbericht mit maximal 300 Wörtern. Er muss mindestens einen belegten Erfolg, eine offene Frage, eine Unsicherheit über die Ursache und einen konkreten nächsten Prüfschritt enthalten.

Drei kurze Auswahlaufgaben mit Hilfen, Belegen und Lösungen

Auswahlaufgabe 1: Was darfst Du sicher behaupten?

Welche Aussage ist durch die vorliegenden Daten am besten gedeckt?

Option	Aussage
A	Der Anteil mit mindestens zwei genannten Beteiligungswegen stieg von 25 auf rund 68 Prozent; K3 ist erreicht, eine alleinige Ursache durch das Projekt ist aber nicht bewiesen.
B	Das Projekt hat bei genau 43 Prozent der Jugendlichen neues Wissen verursacht.
C	Weil der T1-Wert höher ist, sind andere Ursachen ausgeschlossen.
D	K3 ist nicht bewertbar, weil Vorher-Nachher-Daten grundsätzlich unbrauchbar sind.

Hilfestufe 1: Vergleiche K3 in Material A mit der zweiten Zeile in Material B.

Hilfestufe 2: Trenne die Frage „Ist der Zielwert erreicht?“ von der Frage „Hat das Projekt den Unterschied sicher verursacht?“.

Belegstellen: Material A K3, Material B zweite Zeile; außerdem die offizielle VV-BHO zur Trennung von Zielerreichungs- und Wirkungskontrolle sowie das Magenta Book zur Kausalattribution.

Erläuterte Lösung: Option A ist am besten begründet. Der Schwellenwert von mindestens 60 Prozent wird mit rund 68 Prozent erreicht. Der Sprung von 25 auf 68 Prozent ist beobachtet. Ohne Vergleichsgruppe und ohne gekoppelte Personenmessung ist aber keine sichere alleinige Ursache bewiesen.

Auswahlaufgabe 2: Welche Zahl passt zu „berücksichtigte Stimmen“?

Welche Zahl entspricht in diesem Kurs am besten der definierten Größe „berücksichtigte Stimmen“?

Option	Aussage
A	103 Erstkontakte
B	84 unterschiedliche Teilnehmende
C	37 Jugendliche mit nachweislich geprüftem und beantwortetem Beitrag
D	8 übernommene Vorschläge

Hilfestufe 1: Eine Stimme kann berücksichtigt sein, auch wenn ihr Vorschlag am Ende abgelehnt wird.

Hilfestufe 2: Suche in Material C nach der Zahl, die Prüfung und Rückmeldung verbindet.

Belegstellen: Material C, Zählwerte; Qualitätsstandards des Bundesjugendministeriums zu Transparenz, gleichwertiger Beteiligung und Evaluation.

Erläuterte Lösung: Option C passt zur im Kurs festgelegten Definition. Die Zahl 103 zeigt nur Eingang, 84 zeigt Reichweite und 8 zeigt Übernahme. Berücksichtigung bedeutet hier, dass ein Beitrag nachweislich geprüft und beantwortet wurde.

Auswahlaufgabe 3: Welcher nächste Prüfschritt stärkt die Aussagekraft?

Welcher nächste Schritt verbessert die Prüfung einer möglichen Projektwirkung am deutlichsten?

Option	Aussage
A	Nur die T1-Befragung vergrößern und auf eine Vorhermessung verzichten
B	T0 und T1 mit anonymen Codes derselben Personen koppeln und zusätzlich eine möglichst vergleichbare nicht teilnehmende Gruppe beobachten
C	Nur die Zahl der Anmeldungen verdoppeln
D	Nur besonders erfolgreiche Einzelfälle sammeln

Hilfestufe 1: Gute Wirkungsevaluation fragt auch, was ohne das Projekt wahrscheinlich passiert wäre.

Hilfestufe 2: Suche nach einer Möglichkeit, dieselben Personen über die Zeit zu vergleichen und zugleich ein Kontrafaktum anzunähern.

Belegstellen: Magenta Book, Abschnitt zu experimentellen und quasi-experimentellen Ansätzen; Material B zur fehlenden Verknüpfung von T0 und T1.

Erläuterte Lösung: Option B stärkt die Prüfung am meisten. Gepaarte Vorher-Nachher-Daten reduzieren Unsicherheit durch wechselnde Stichproben. Eine geeignete Vergleichsgruppe hilft zusätzlich abzuschätzen, welche Entwicklung ohne Projekt zu erwarten gewesen wäre.

Muster für den begrenzten Evaluationsbericht

Schreibrahmen

Dein Bericht umfasst höchstens 300 Wörter und beantwortet fünf Fragen:

Baustein	Leitfrage
Datengrundlage	Welche Daten wurden wann und von wem erhoben?
Erfolg	Welches vorher festgelegte Kriterium wurde erreicht?
Grenze	Welche Ursache ist nicht sicher belegt?
offene Frage	Was wissen wir nach der Auswertung noch nicht?
nächster Prüfschritt	Welche konkrete Datenerhebung würde die offene Frage besser prüfen?

Eine mögliche Modellfassung

Datengrundlage: Das fiktive Projekt „Jugendplatz Nord“ wurde mit einer Vorbefragung T0 mit 48 Bögen, einer Nachbefragung T1 mit 44 Bögen, Teilnahmelisten und einem Entscheidungsprotokoll ausgewertet. T0 und T1 wurden nicht auf Personenebene verknüpft.

Erfolg: K2 und K3 wurden erreicht. Der Mittelwert zur wahrgenommenen Einflussmöglichkeit stieg von 2,2 auf 3,3 und damit um 1,1 Punkte. Nach dem Projekt konnten rund 68 Prozent mindestens zwei Beteiligungswege nennen; der Zielwert lag bei 60 Prozent. Auch K4 wurde mit 17 von 20 fristgerechten Rückmeldungen beziehungsweise 85 Prozent erfüllt.

Einschränkung: Aus dem Vorher-Nachher-Vergleich folgt nicht sicher, dass das Projekt allein die Veränderung verursacht hat. Die Zusammensetzung der beiden Befragungsgruppen kann sich unterschieden haben, und eine Vergleichsgruppe fehlt.

Offene Frage: Unklar bleibt, ob Jugendliche außerhalb des Jugendzentrums ähnlich stark Einfluss erlebt haben. K5 wurde wegen des Anteils von rund 54 Prozent aus dem Jugendzentrum nicht vollständig erfüllt.

Nächster Prüfschritt: Beim nächsten Projekt sollten T0 und T1 über freiwillige anonyme Codes gekoppelt, die Zugangswege systematisch dokumentiert und möglichst eine vergleichbare nicht teilnehmende Gruppe mit denselben Fragen untersucht werden.

Hinweis: Diese Modellfassung ist nicht die einzig zulässige Bewertung. Ein anderes Urteil ist möglich, wenn es sauber an Daten, Kriterien und Unsicherheiten gebunden ist.

Prüfraster für freie Urteile

Prüfkriterium	0 Punkte	1 Punkt	2 Punkte
Datenbezug	unbelegte Behauptung	einzelne Daten genannt	zentrale Aussage mit passender Datenstelle belegt
Kriterienbezug	Erfolg ohne Maßstab	Kriterium erwähnt	vorab festgelegte Schwelle korrekt geprüft
Kausalität	Veränderung wird automatisch als Ursache dargestellt	Einschränkung angedeutet	Beobachtung und Ursache klar getrennt
Stimmen	nur Eingangsanzahl genannt	mehrere Zahlen unterschieden	Reichweite, Beiträge, Berücksichtigung und Übernahme sauber getrennt
Unsicherheit	fehlt	allgemein genannt	konkrete Unsicherheit aus Datenherkunft oder Design erklärt
nächster Prüfschritt	fehlt	sehr allgemein	konkret, durchführbar und direkt auf die offene Frage bezogen

Transferfall: Jugendmedienwerkstatt „Check vor Share“

Auch dieser Fall ist vollständig fiktiv.

Eine Jugendmedienwerkstatt führt vier Einheiten zur Quellenprüfung durch. Vorher wird ein Test mit vier kurzen Prüfaufgaben eingesetzt. Nach der letzten Einheit wird derselbe Test erneut verwendet.

Bereich	Daten
T0	36 ausgefüllte Tests, Mittelwert 1,7 von 4 richtigen Prüfentscheidungen
T1	31 ausgefüllte Tests, Mittelwert 3,0 von 4
Vorab-Kriterium	T1 mindestens 2,8 von 4 und Anstieg um mindestens 0,8 Punkte
Beobachtung	Anstieg um 1,3 Punkte; Kriterium erreicht
Unsicherheit	T0 und T1 nicht personengenau gekoppelt; keine Vergleichsgruppe; fünf Personen weniger bei T1
offene Frage	bleibt die Fähigkeit sechs Wochen später bestehen?
nächster Prüfschritt	anonyme Paarcodes nutzen und sechs Wochen später einen kurzen Folgetest durchführen

Transferauftrag: Schreibe vier Sätze: einen zum Erfolg, einen zur Ursache, einen zur offenen Frage und einen zum nächsten Prüfschritt. Vermeide die Formulierung, die Werkstatt habe den Anstieg sicher verursacht.

Datenschutz, Fairness und Dokumentation

Bei echten Jugendprojekten sollen nur Daten erhoben werden, die für die Auswertungsfrage nötig sind. Zweck, Speicherung, Freiwilligkeit und Nutzung müssen verständlich erklärt werden. Kleine Gruppen dürfen nicht so veröffentlicht werden, dass einzelne Jugendliche erkennbar werden. Wenn anonyme oder pseudonyme Codes eingesetzt werden, müssen sie so gestaltet sein, dass eine unnötige Identifizierung vermieden wird.

Die Qualitätsstandards für Kinder- und Jugendbeteiligung weisen ausdrücklich auf Datenschutz sowie Kinder- und Jugendmedienschutz hin. Gleichzeitig sollen Beteiligungswege zugänglich und nachvollziehbar bleiben.

Quellen und Belegstellen

Die folgenden Quellen dienen als methodische Orientierung. Sie sind keine Quellen für die fiktiven Projektdaten.

Allgemeine Verwaltungsvorschriften zur Bundeshaushaltsordnung, VV zu § 7: Öffentliche Primärquelle der Bundesverwaltung; trennt Zielerreichungs-, Wirkungs- und Wirtschaftlichkeitskontrolle.
Arbeitsanleitung Einführung in Wirtschaftlichkeitsuntersuchungen: Öffentliche Verwaltungsquelle; beschreibt Erfolgskontrolle als systematisches Prüfverfahren.
Mitwirkung mit Wirkung – Qualitätsstandards für Kinder- und Jugendbeteiligung: Behördliche Veröffentlichung; betont vorher festgelegte Ziele, Transparenz, Einbezug junger Menschen und Evaluation.
Magenta Book – Central Government guidance on evaluation: Regierungshandbuch des Vereinigten Königreichs; erläutert Vergleichsgruppen, Kontrafaktum und Kausalattribution.
Quality in policy impact evaluation: Öffentliche Regierungsquelle; ordnet einfache Vorher-Nachher-Designs ohne Vergleichsgruppe als schwache Grundlage für Attribution ein.
DSEEerklärt Wirkungsorientierung 3: Öffentlich zugängliches Video der Deutschen Stiftung für Engagement und Ehrenamt zu Wirkungszielen.
DSEEerklärt Wirkungsorientierung 4: Öffentlich zugängliches Video der Deutschen Stiftung für Engagement und Ehrenamt zu Indikatoren und Wirkungsanalyse.
Wikimedia Commons – Youth volunteers work together to build tower: Bildquelle, NYAA Council, CC BY-SA 4.0.
Wikimedia Commons – Day 02 - FDC Feedback Session 03: Bildquelle, 3BRBS, CC BY-SA 3.0.

Interaktive Aufgaben

Quiz: Teste Dein Wissen

Was prüft eine Zielerreichungskontrolle zuerst? (Ob ein vorher festgelegtes Ziel erreicht wurde) (!Ob jede beobachtete Veränderung sicher vom Projekt verursacht wurde) (!Ob möglichst viele Personen angemeldet waren) (!Ob nur positive Ergebnisse veröffentlicht wurden)

Was ist bei Jugendplatz Nord sicher beobachtet? (Der Mittelwert zur Einflussmöglichkeit stieg von 2,2 auf 3,3) (!Das Projekt verursachte sicher genau 1,1 Punkte Wirkung) (!Alle Jugendlichen verbesserten ihren Wert um 1,1 Punkte) (!Keine andere Erklärung ist möglich)

Um wie viele Prozentpunkte stieg der Anteil mit zwei genannten Beteiligungswegen ungefähr? (43 Prozentpunkte) (!18 Prozentpunkte) (!25 Prozentpunkte) (!68 Prozentpunkte)

Wie hoch ist die Rückmeldequote bei 17 von 20 Vorschlägen? (85 Prozent) (!80 Prozent) (!70 Prozent) (!17 Prozent)

Warum ist K5 nicht vollständig erfüllt? (Der größte Zugangsweg stellt rund 54 Prozent der beitragenden Jugendlichen) (!Es gab weniger als zwei Zugangswege) (!Es gab keine Beiträge aus der Schule) (!Es wurden weniger als acht Vorschläge übernommen)

Welche Zahl beschreibt vor allem Reichweite und noch keine Wirkung? (84 unterschiedliche Teilnehmende) (!3,3 als Nachher-Mittelwert) (!68 Prozent mit zwei Beteiligungswegen) (!85 Prozent fristgerechte Rückmeldungen)

Warum reicht ein einfacher Vorher-Nachher-Vergleich nicht für eine sichere Ursachenaussage? (Andere Entwicklungen können den Unterschied mitverursacht haben) (!Vorher-Nachher-Daten dürfen nie ausgewertet werden) (!Prozentwerte sind grundsätzlich ungeeignet) (!Nur Interviews können Ursache prüfen)

Was bedeutet berücksichtigte Stimme in diesem Kurs? (Ein dokumentierter Beitrag wurde geprüft und nachvollziehbar beantwortet) (!Eine Person hat sich nur angemeldet) (!Ein Vorschlag wurde zwingend übernommen) (!Eine Person hat das Projektplakat gesehen)

Welcher nächste Schritt verbessert die Prüfung der Wirkung am stärksten? (Gepaarte Vorher-Nachher-Daten und eine geeignete Vergleichsgruppe) (!Nur mehr Werbung für das Projekt) (!Nur eine größere Zahl von Anmeldungen) (!Nur positive Rückmeldungen sammeln)

Was gehört in den begrenzten Evaluationsbericht? (Ein belegter Erfolg, eine offene Frage und ein konkreter nächster Prüfschritt) (!Nur eine Erfolgsbehauptung ohne Unsicherheit) (!Nur die Zahl aller Anmeldungen) (!Eine sichere Ursache ohne Vergleichsdaten)

Memory

Zielkriterium	vorher festgelegter Maßstab
Indikator	beobachtbarer Hinweis
Output	erbrachte Leistung
Outcome	Veränderung bei der Zielgruppe
Attribution	ursächliche Zuschreibung
Triangulation	Verbindung mehrerer Datenquellen

Drag and Drop

Ordne die richtigen Begriffe zu.	Thema
Beobachtung	gemessener Vorher-Nachher-Unterschied
Kriterium	vorab festgelegte Erfolgsschwelle
Ursache	mit geeignetem Vergleichsdesign zu prüfende Zuschreibung
Stimme	dokumentierter Beitrag mit nachvollziehbarer Rückmeldung
Reichweite	Zahl unterschiedlicher Teilnehmender

Kreuzworträtsel

Indikator	Wie heißt ein beobachtbarer Hinweis auf Zielerreichung?
Outcome	Wie heißt eine Veränderung bei der Zielgruppe im Wirkungsmodell?
Kausalität	Wie heißt der Zusammenhang von Ursache und Wirkung?
Vergleich	Was hilft dabei abzuschätzen, was ohne ein Projekt passiert wäre?
Rückmeldung	Was sollte ein geprüfter Jugendbeitrag nachvollziehbar erhalten?
Unsicherheit	Was muss ein seriöser Bericht neben Erfolgen ebenfalls benennen?

LearningApps

Lückentext

Ein vorher festgelegter Maßstab für Erfolg heißt

. Ein beobachtbarer Hinweis auf Zielerreichung heißt

. Die Zahl unterschiedlicher Teilnehmender beschreibt zunächst die

. Eine Veränderung bei der Zielgruppe wird häufig als

bezeichnet. Ein höherer Nachher-Wert beweist noch keine sichere

. Für eine belastbare Zuschreibung ist die Frage wichtig, was ohne das Projekt als

zu erwarten gewesen wäre. Ein dokumentierter Jugendbeitrag kann auch dann berücksichtigt sein, wenn er nicht

wurde. Eine seriöse Auswertung nennt neben Erfolgen auch ihre

. Am Ende sollte aus einer offenen Frage ein konkreter nächster

folgen.

Offene Aufgaben

Leicht

Indikatoren markieren: Markiere in Material B alle Werte, die direkt zu einem vorher festgelegten Kriterium gehören, und begründe zwei Zuordnungen.
Vorher-Nachher-Grafik: Zeichne für K2 und K3 je eine einfache Grafik und beschrifte Datenherkunft sowie Unsicherheit.
Stimmenpfad: Gestalte ein Schaubild vom Erstkontakt über Beitrag und Prüfung bis zur Rückmeldung.
Mini-Interview planen: Entwirf drei neutrale Fragen, mit denen Jugendliche nach einem echten Schulprojekt sagen könnten, ob sie sich gehört fühlten.

Standard

Kriteriencheck: Erstelle eine Tabelle mit K1 bis K5, Datenbeleg, Urteil und Begründung.
Prozentpunkte erklären: Erkläre mit eigenem Beispiel den Unterschied zwischen Prozent und Prozentpunkten.
Zugangswege prüfen: Entwickle zwei Maßnahmen, mit denen ein Jugendprojekt Stimmen außerhalb eines dominanten Treffpunkts besser erreicht.
Erklärvideo: Produziere ein höchstens zweiminütiges Video mit dem Titel „Veränderung ist nicht automatisch Ursache“.

Schwer

Alternativerklärungen: Formuliere mindestens drei plausible Alternativerklärungen für den Anstieg bei K2 und ordne sie nach Prüfbedarf.
Verbessertes Evaluationsdesign: Plane eine Folgestudie mit anonymen Paarcodes, geeigneter Vergleichsgruppe und sechs Wochen späterem Follow-up.
Evaluation vor Ort: Besuche mit Genehmigung ein Jugendhaus, eine kommunale Beteiligungsstelle oder ein öffentliches Bildungsangebot und vergleiche deren reale Dokumentationspraxis mit dem Prüfraster dieses Kurses.
Zweiter Fall: Übertrage das Berichtsschema auf ein eigenes Projekt aus Schule, Sport, Kultur oder Medienbildung und markiere ausdrücklich, welche Daten noch fehlen.

Lernkontrolle

Kriterienlogik übertragen: Ein neues Projekt erreicht doppelt so viele Jugendliche wie geplant, aber der Wissenswert verändert sich kaum. Beurteile Erfolg und Wirkung getrennt und begründe Dein Urteil.
Kausalbehauptung prüfen: Ein Team schreibt „Unser Projekt hat das Selbstvertrauen erhöht“, obwohl nur eine Nachher-Befragung vorliegt. Formuliere eine fachlich vorsichtigere Aussage und nenne einen besseren nächsten Test.
Beteiligungsqualität bewerten: 200 Personen klicken auf eine Online-Abstimmung, aber nur zehn Beiträge werden dokumentiert und beantwortet. Beurteile Reichweite und Berücksichtigung getrennt.
Datenlücke erkennen: Erkläre, warum 40 Vorher-Bögen und 25 Nachher-Bögen ohne Paarcode die Aussagekraft einschränken und wie Du das Design verbessern würdest.
Neues Szenario entwickeln: Entwirf für ein Schulhofprojekt ein Outcome-Kriterium, einen passenden Indikator und einen Zeitpunkt für die Messung.
Bericht prüfen: Beurteile einen Mitschülerbericht mit dem Sechs-Kriterien-Prüfraster und begründe zwei Verbesserungsvorschläge.

Lernnachweis

Für einen Lernnachweis zu diesem Thema ist wichtig, dass Du Daten korrekt liest und rechnest, vorab festgelegte Kriterien erkennst, Output und Outcome unterscheidest, beobachtete Veränderung nicht automatisch als sichere Ursache ausgibst, berücksichtigte Stimmen von Eingangs- und Teilnehmendenzahlen trennst, Unsicherheiten und Datenherkunft offen nennst und einen realistischen nächsten Prüfschritt entwirfst.

Als Lernnachweis kann ein Evaluationsbericht mit maximal 300 Wörtern zusammen mit einem Kriterienblatt und einer kleinen Datenvisualisierung eingereicht werden. Bewertet wird nach dem Prüfraster dieses Kurses; unterschiedliche begründete Urteile bleiben möglich.

OERs zum Thema

Zusätzliche öffentliche Orientierung bieten die Qualitätsstandards für Kinder- und Jugendbeteiligung des Bundesjugendministeriums, die Verwaltungsvorschriften zur Bundeshaushaltsordnung sowie das Magenta Book der britischen Regierung. Die beiden eingebetteten Wikimedia-Commons-Fotos sind frei lizenziert; die YouTube-Videos werden nur eingebettet und nicht als frei nachnutzbare Dateien behandelt.

Verknüpfte Lernbereiche

Evaluation

aiMOOC-Projekte

Frag mich zum aktuellen Lerninhalt oder wähle eine kurze Hilfe.

Textmodus bereit

Sprache