Die Druckversion wird nicht mehr unterstützt und kann Darstellungsfehler aufweisen. Bitte aktualisiere deine Browser-Lesezeichen und verwende stattdessen die Standard-Druckfunktion des Browsers.

aiMOOC

Jugendprojekt nach Umsetzung mit Wirkungskriterien auswerten

QR-Code

Einleitung

Ein Jugendprojekt ist vorbei – aber war es auch erfolgreich? In diesem Werkstattkurs lernst Du, ein bereits umgesetztes, fiktives Jugendprojekt mit vorher festgelegten Wirkungskriterien auszuwerten. Du vergleichst Vorher-Nachher-Daten, prüfst, welche Stimmen tatsächlich in Entscheidungen berücksichtigt wurden, und formulierst ein begrenztes Urteil, ohne aus einer beobachteten Veränderung vorschnell eine sichere Ursache zu machen.

Der Kurs ist für den Einstieg ab Klasse 7 gedacht. Auf dem Grundniveau arbeitest Du mit klaren Kriterien, einfachen Anteilen und Belegstellen. In der Vertiefung M berechnest Du Veränderungen in Prozentpunkten und prüfst Datenqualität. In der Vertiefung E beschäftigst Du Dich zusätzlich mit Kausalität, Vergleichsgruppen, Ausfällen zwischen zwei Messzeitpunkten und alternativen Erklärungen.

Zielprodukt: Am Ende verfasst Du einen Evaluationsbericht mit höchstens 150 Wörtern. Er enthält genau einen belegten Erfolg, mindestens eine offene Frage, einen Ursachenvorbehalt und einen konkreten nächsten Prüfschritt.

Medienhinweis: Das Foto zeigt ein reales Jugendprojekt, nicht den fiktiven Fall dieses Kurses. Datei auf Wikimedia Commons: „Wiki Digi Youth project in Rwanda 21.jpg“, Urheberin Annick green, Lizenz CC BY-SA 4.0. Die Bildaussage darf deshalb nicht als Beleg für die Wirkung des hier erfundenen Projekts verwendet werden.

Video-Hinweis: „Was ist Kinder- und Jugendbeteiligung?“ von der Landeszentrale für politische Bildung Baden-Württemberg dient als Hintergrund zur Beteiligung. Das Video wird von YouTube eingebettet; es wird hier keine freie Nachnutzungslizenz behauptet. Rechte verbleiben bei den jeweiligen Rechteinhabenden.

Was bedeutet Evaluation?

Evaluation bedeutet hier: Du sammelst oder nutzt Daten, vergleichst sie mit vorher festgelegten Maßstäben und begründest daraus ein Urteil. Ein gutes Urteil besteht deshalb nicht aus „gefällt mir“ oder „war super“, sondern aus einer nachvollziehbaren Kette:

Kriterium: Was sollte erreicht werden?
Indikator: Woran wurde das erkennbar gemacht?
Daten: Was wurde tatsächlich beobachtet?
Urteil: Wurde der Maßstab erreicht, teilweise erreicht oder nicht erreicht?
Unsicherheit: Was können die Daten nicht sicher zeigen?
Nächster Prüfschritt: Welche zusätzliche Information würde die offene Frage klären?

Wichtig ist der Unterschied zwischen Leistung und Wirkung. Drei umgesetzte Aktionen sind zunächst ein Output: Das Projekt hat etwas hergestellt oder durchgeführt. Eine Veränderung darin, wie stark Jugendliche ihren Einfluss wahrnehmen, ist ein mögliches Outcome. Erst wenn eine Veränderung plausibel und methodisch ausreichend auf das Projekt zurückgeführt werden kann, darfst Du stärker von verursachter Wirkung sprechen.

Methodische Orientierung aus öffentlichen und fachlichen Quellen

Dieser Kurs übernimmt keine echten Projektdaten aus den folgenden Quellen. Die Quellen dienen nur als methodische Orientierung. Alle Daten des Werkstattfalls werden weiter unten vollständig mitgeliefert.

§ 8 SGB VIII: Kinder und Jugendliche sollen entsprechend ihrem Entwicklungsstand an sie betreffenden Entscheidungen der öffentlichen Jugendhilfe beteiligt werden. Beteiligung soll verständlich, nachvollziehbar und wahrnehmbar erfolgen.
§ 11 SGB VIII: Angebote der Jugendarbeit sollen an den Interessen junger Menschen anknüpfen, von ihnen mitbestimmt und mitgestaltet werden und Selbstbestimmung sowie gesellschaftliche Mitverantwortung fördern.
Mitwirkung mit Wirkung – Qualitätsstandards für Kinder- und Jugendbeteiligung: Die Publikation des Bundesjugendministeriums und des Deutschen Bundesjugendrings betont unter anderem transparente Ziele, nachvollziehbare Entscheidungsspielräume und qualitätsvolle Beteiligung.
DeGEval-Standards für Evaluation: Gute Evaluationen sollen nützlich, durchführbar, fair und genau sein. Beteiligte und Betroffene sowie Evaluationszwecke sollen geklärt werden.
DEval – Was ist rigorose Wirkungsevaluierung?: Für eine sichere kausale Zuordnung reicht eine bloße Veränderung vor und nach einer Maßnahme nicht automatisch aus. Stärkere Designs versuchen, eine kontrafaktische Situation mit Kontroll- oder Vergleichsgruppen anzunähern.
Statistisches Bundesamt – Stichprobenziehung und Methode: Aussagen über größere Gruppen hängen davon ab, wie die befragten Personen ausgewählt wurden und welche Grundgesamtheit gemeint ist.
Bundeszentrale für politische Bildung – Repräsentativität: Eine Stichprobe kann nicht allein wegen einer großen Zahl von Antworten als repräsentativ gelten; Zusammensetzung und Auswahlverfahren sind wichtig.
Praxishandbuch Evaluierung im Radverkehr des Bundesamtes für Logistik und Mobilität: Die Zahl durchgeführter Maßnahmen ist nicht dasselbe wie eine Wirkung bei der Zielgruppe.

Quellenregel im Kurs: Es werden keine erfundenen Zitate als echte Quellen ausgegeben. Aussagen aus den Quellen werden sinngemäß zusammengefasst. Die fiktiven Werkstattmaterialien sind ausdrücklich als erfunden gekennzeichnet.

Werkstattfall: „Freiraum Freitag“

Status: vollständig fiktiver Übungsfall. Es gibt kein reales Jugendzentrum, keine realen Teilnehmenden und keine realen personenbezogenen Daten hinter diesem Fall.

Ein Jugendtreff führt acht Wochen lang das Projekt „Freiraum Freitag“ durch. Jugendliche zwischen 12 und 16 Jahren sollen stärker mitentscheiden, wie der Freitagnachmittag gestaltet wird. Sie sammeln Ideen, diskutieren Vorschläge und stimmen über vier Maßnahmen ab.

Die vier ausgewählten Maßnahmen sind:

Ruheecke: Eine ruhige Sitzecke wird eingerichtet.
Spieleausleihe: Gesellschaftsspiele können ohne lange Anmeldung ausgeliehen werden.
Open-Mic: Einmal im Monat gibt es eine offene Bühne.
Öffnungszeit: Der Treff soll freitags eine Stunde länger geöffnet bleiben.

Bis zum vereinbarten Stichtag wurden Ruheecke, Spieleausleihe und Open-Mic umgesetzt. Die längere Öffnungszeit ist noch offen, weil der Personaleinsatz nicht geklärt ist.

Vorher festgelegte Wirkungskriterien

Die Kriterien wurden im Übungsfall vor der Auswertung festgelegt. Das ist wichtig: Wer Grenzwerte erst nach dem Blick auf die Ergebnisse erfindet, kann den Maßstab unbewusst an das gewünschte Ergebnis anpassen.

Kennung	Kriterium	Art	Vorab festgelegter Maßstab
K1	Wahrgenommener Einfluss	Outcome	Der Anteil der Jugendlichen mit hoher Zustimmung zur Aussage „Ich kann Entscheidungen im Treff beeinflussen“ steigt bei denselben Befragten um mindestens 20 Prozentpunkte.
K2	Berücksichtigte Stimmen	Beteiligungsqualität	Beiträge von mindestens 20 verschiedenen Jugendlichen sind im Entscheidungsprotokoll nachweisbar berücksichtigt.
K3	Umsetzung und Rückmeldung	Output und Transparenz	Mindestens drei von vier ausgewählten Maßnahmen sind bis zum Stichtag umgesetzt; zu allen vier Maßnahmen ist der Stand öffentlich im Treff dokumentiert.
K4	Reichweite	Prozess	Mindestens 30 verschiedene Jugendliche nehmen an mindestens einer Werkstattsitzung teil.

Datenpass: Woher stammen die Daten?

Datenkennung	Herkunft im fiktiven Fall	Umfang	Was kann die Quelle zeigen?	Wichtige Unsicherheit
D1	Pseudonymer Kurzfragebogen vor Projektbeginn	40 ausgefüllte Fragebögen	Ausgangslage	Nicht alle Jugendlichen des Treffs antworteten.
D2	Derselbe Kurzfragebogen nach acht Wochen	36 ausgefüllte Fragebögen	Lage nach Projektende	Die 36 Personen sind nicht vollständig identisch mit den 40 Personen aus D1.
D3	Verknüpfbare Vorher-Nachher-Fälle über selbstgewählten Code	28 Jugendliche	Veränderung bei denselben Personen	12 Vorher-Fälle und 8 Nachher-Fälle sind nicht verknüpfbar.
D4	Ideenprotokoll aus Karten und moderierter digitaler Pinnwand	96 Eingänge	Menge eingegangener Beiträge	Mehrere Beiträge können von derselben Person stammen.
D5	Pseudonymisierte Beitragsübersicht	44 identifizierbare Beitragende plus 8 anonyme Eingänge	Mindestzahl verschiedener Beitragender	Bei anonymen Eingängen ist unklar, ob dahinter neue oder bereits gezählte Personen stehen.
D6	Entscheidungsprotokoll	Beiträge von 24 verschiedenen Jugendlichen sind in Beratung oder Auswahlliste nachweisbar	Berücksichtigte Stimmen	„Berücksichtigt“ bedeutet nicht automatisch „übernommen“.
D7	Anwesenheitsliste der Werkstattsitzungen	34 verschiedene Jugendliche	Reichweite	Anwesenheit allein zeigt keine Wirkung.
D8	Umsetzungscheck und Aushang im Treff	3 von 4 Maßnahmen umgesetzt; Status zu 4 von 4 veröffentlicht	Output und Transparenz	Umsetzung beweist noch keine Veränderung bei Jugendlichen.
D9	Kontextnotiz	Neue Fachkraft ab Projektwoche 4; großes Stadtteilfest in Woche 7	Mögliche andere Erklärungen	Einfluss dieser Ereignisse wurde nicht getrennt gemessen.

Medienrecht: „Questionnaire-checklist.png“ auf Wikimedia Commons ist unter CC0 freigegeben. Das Bild dient hier nur als Symbol für einen Fragebogen.

Vorher-Nachher-Daten

Für das zentrale Wirkungskriterium K1 werden nur die 28 Jugendlichen verwendet, deren Vorher- und Nachher-Fragebogen über einen selbstgewählten Code verbunden werden konnte.

Aussage	Vorher	Nachher	Veränderung	Vorab-Kriterium
Hohe Zustimmung zu „Ich kann Entscheidungen im Treff beeinflussen“	9 von 28 = rund 32 %	19 von 28 = rund 68 %	+36 Prozentpunkte	mindestens +20 Prozentpunkte
Hohe Zustimmung zu „Ich weiß, was mit meinen Vorschlägen passiert“	8 von 28 = rund 29 %	20 von 28 = rund 71 %	+42 Prozentpunkte	ergänzende Information, kein eigenes Grenzkriterium

Beobachtung: K1 ist nach dem vorab gesetzten Maßstab erreicht.

Aber: Aus K1 folgt nicht automatisch: „Das Projekt hat die Veränderung sicher verursacht.“ Während der acht Wochen begann eine neue Fachkraft ihre Arbeit, und in Woche 7 fand ein großes Stadtteilfest statt. Außerdem gibt es keine Vergleichsgruppe. Deshalb lautet die fachlich vorsichtige Formulierung: Die beobachtete Veränderung passt zu der erwarteten Wirkung des Projekts; mit den vorliegenden Daten lässt sich eine alleinige Ursache durch das Projekt nicht sicher nachweisen.

Eingänge sind nicht dasselbe wie Stimmen

Im Ideenprotokoll stehen 96 Eingänge. Das bedeutet aber nicht, dass 96 verschiedene Jugendliche beteiligt waren. In D5 sind 44 verschiedene Beitragende identifizierbar. Zusätzlich gibt es acht anonyme Eingänge. Die genaue Zahl aller unterschiedlichen Beitragenden liegt deshalb zwischen mindestens 44 und höchstens 52, sofern jeder anonyme Eingang von einer anderen, noch nicht gezählten Person stammen würde.

Noch einmal anders ist die Zahl der berücksichtigten Stimmen: Im Entscheidungsprotokoll D6 lassen sich Beiträge von 24 verschiedenen Jugendlichen als beraten, gebündelt oder in die Auswahlliste übernommen nachweisen. Genau diese Einheit passt zu K2.

Damit gilt:

96 = Eingangsanzahl.
44 = sicher identifizierbare verschiedene Beitragende.
24 = verschiedene Jugendliche mit nachweisbar berücksichtigtem Beitrag.
Keine dieser Zahlen darf ohne Erklärung einfach „Stimmenzahl“ genannt werden.

Medienrecht: Das Foto „Sticky wall at Program Evaluation & Design Workshop in Budapest, 2013.jpg“ stammt von Sarah Stierch und steht unter CC BY 4.0. Es zeigt einen realen Evaluationsworkshop und dient hier als Beispiel dafür, dass viele Zettel oder Einträge nicht automatisch viele verschiedene Personen bedeuten.

Kriteriencheck

Kriterium	Ergebnis	Beleg	Urteil	Unsicherheit
K1 Wahrgenommener Einfluss	+36 Prozentpunkte bei denselben 28 Jugendlichen	D3	erreicht	Ursache nicht sicher nachweisbar
K2 Berücksichtigte Stimmen	24 verschiedene Jugendliche im Entscheidungsprotokoll	D6	erreicht	Qualität der Berücksichtigung kann unterschiedlich tief gewesen sein
K3 Umsetzung und Rückmeldung	3 von 4 umgesetzt; zu 4 von 4 Status veröffentlicht	D8	erreicht	vierte Maßnahme bleibt offen
K4 Reichweite	34 verschiedene Jugendliche nahmen mindestens einmal teil	D7	erreicht	Reichweite ist noch keine Wirkung

Ein Evaluationsurteil darf deshalb lauten: Mehrere vorab gesetzte Kriterien wurden erreicht. Besonders deutlich ist die beobachtete Zunahme wahrgenommenen Einflusses. Offen bleibt, wie viel davon tatsächlich durch das Projekt verursacht wurde und ob die Veränderung länger anhält.

Ein Urteil wie „Das Projekt hat bewiesen, dass Jugendbeteiligung wirkt“ wäre mit diesen Daten zu stark.

Vertiefung M/E

Vertiefung M: Prozentpunkte und passende Vergleichsgruppen

Wenn ein Anteil von 32 % auf 68 % steigt, beträgt die Veränderung 36 Prozentpunkte. Das ist nicht dasselbe wie „36 Prozent mehr“.

Für einen fairen Vorher-Nachher-Vergleich ist es außerdem sinnvoll, möglichst dieselben Personen zu vergleichen. Deshalb wird bei K1 mit den 28 verknüpfbaren Fällen gerechnet und nicht einfach mit allen 40 Vorher- und allen 36 Nachher-Fragebögen. Unterschiedliche Gruppen könnten sich nämlich schon deshalb unterscheiden, weil andere Personen geantwortet haben.

M-Prüffrage: Würde sich Dein Urteil verändern, wenn von den acht nicht verknüpfbaren Nachher-Fragebögen fast nur sehr zufriedene Jugendliche stammen? Begründe, warum Ausfälle die Auswertung beeinflussen können.

Vertiefung E: Veränderung, Beitrag und Ursache

Eine beobachtete Veränderung kann mehrere Ursachen haben. Im Fall „Freiraum Freitag“ könnten neben dem Projekt die neue Fachkraft, das Stadtteilfest, Veränderungen in der Gruppe oder andere Ereignisse eine Rolle gespielt haben.

Eine stärkere kausale Prüfung würde versuchen, die Frage zu beantworten: Was wäre mit ähnlichen Jugendlichen im gleichen Zeitraum ohne das Projekt passiert? Diese nicht direkt beobachtbare Situation nennt man kontrafaktische Situation. In aufwendigeren Evaluationen werden dafür Kontroll- oder Vergleichsgruppen oder andere geeignete Designs genutzt.

Für eine schulische Werkstatt gilt: Du musst keine perfekte Wirkungsevaluierung durchführen. Du musst aber deutlich sagen, wie sicher Deine Aussage ist.

Eine hilfreiche Skala lautet:

hoch sicher beobachtet: Die Zahl oder Aussage steht direkt in einer dokumentierten Quelle.
plausible Deutung: Mehrere Belege passen zusammen, aber andere Erklärungen bleiben möglich.
nicht sicher kausal: Es fehlt eine gute Vergleichsmöglichkeit oder es gibt wichtige Störfaktoren.

Video-Hinweis: „DRK – Wirkung messen: Indikatoren und Erhebungsmethoden“ dient als ergänzendes Lernmedium. Das Video ist über YouTube eingebettet; es wird keine freie Nachnutzungslizenz behauptet. Rechte verbleiben beim Kanal und den jeweiligen Rechteinhabenden.

Drei Kern-Auswahlaufgaben mit Hilfen und Lösungen

Die folgenden drei Aufgaben sind bewusst kurz und eindeutig. Jede Aufgabe hat vier plausible Optionen, aber nur eine passt vollständig zu den mitgelieferten Belegen.

Auswahlaufgabe 1: Was darfst Du über K1 sagen?

Welche Aussage ist durch die Daten am besten gedeckt?

A: Bei denselben 28 Jugendlichen stieg der Anteil hoher Einfluss-Zustimmung um 36 Prozentpunkte; das Kriterium ist erreicht, aber eine alleinige Ursache durch das Projekt ist nicht bewiesen.

B: Weil der Wert nach dem Projekt höher ist, hat das Projekt die Veränderung sicher allein verursacht.

C: Weil 36 Nachher-Fragebögen vorliegen, gilt der Anstieg sicher für alle Jugendlichen des Jugendtreffs.

D: Weil K1 erreicht ist, sind automatisch alle anderen Wirkungskriterien erreicht.

Hilfestufe 1: Vergleiche nur die 28 verknüpften Vorher-Nachher-Fälle und suche zusätzlich nach Angaben zu möglichen anderen Erklärungen.

Hilfestufe 2: Rechne 68 % minus 32 %. Prüfe danach D9 und frage Dich, ob eine Vergleichsgruppe vorhanden ist.

Belegstellen: D3, Tabelle „Vorher-Nachher-Daten“, D9 sowie der Abschnitt „Vertiefung E“.

Erläuterte Lösung: A ist richtig. Die beobachtete Veränderung beträgt +36 Prozentpunkte und überschreitet den vorab festgelegten Grenzwert von +20 Prozentpunkten. Das belegt die Zielerreichung von K1. Ohne geeignete Vergleichsgruppe und bei zusätzlichen Ereignissen im Projektzeitraum ist die alleinige Ursache jedoch nicht sicher nachgewiesen.

Auswahlaufgabe 2: Welche Zahl zählt für K2?

Welche Zahl beschreibt die nachweisbar berücksichtigten Stimmen?

A: 24 verschiedene Jugendliche.

B: 96 eingegangene Beiträge.

C: 44 identifizierbare Beitragende.

D: 8 anonyme Eingänge.

Hilfestufe 1: K2 fragt nicht nach Beiträgen und auch nicht nur danach, wer etwas eingereicht hat. Gesucht sind verschiedene Personen, deren Beiträge im Entscheidungsprozess nachweisbar auftauchen.

Hilfestufe 2: Sieh in D6 nach.

Belegstellen: D4, D5, D6 und der Abschnitt „Eingänge sind nicht dasselbe wie Stimmen“.

Erläuterte Lösung: A ist richtig. D6 nennt 24 verschiedene Jugendliche, deren Beiträge im Entscheidungsprotokoll nachweisbar beraten, gebündelt oder in die Auswahlliste übernommen wurden. Die 96 Eingänge zählen Beiträge, nicht Personen. Die 44 identifizierbaren Beitragenden zeigen Reichweite der Ideeneingabe, aber noch nicht, ob ihre Beiträge berücksichtigt wurden.

Auswahlaufgabe 3: Welcher nächste Prüfschritt ist am stärksten?

Welcher nächste Schritt hilft am besten bei der offenen Frage nach Dauer und Ursache der Veränderung?

A: In zwölf Wochen dieselben fünf Kernfragen erneut erheben und zusätzlich eine möglichst vergleichbare Gruppe oder Vergleichsperiode einplanen.

B: Nur die Gesamtzahl neuer Ideen erneut zählen.

C: Nur das Projektteam fragen, ob es das Projekt weiterhin für erfolgreich hält.

D: Die drei umgesetzten Maßnahmen als sicheren Beweis der Wirkung werten.

Hilfestufe 1: Der nächste Schritt sollte sowohl prüfen, ob die Veränderung anhält, als auch alternative Erklärungen besser kontrollierbar machen.

Hilfestufe 2: Wiederholte Messung hilft bei der Dauer; eine Vergleichsmöglichkeit hilft bei der Ursachenfrage.

Belegstellen: D9 sowie der Abschnitt „Vertiefung E“.

Erläuterte Lösung: A ist richtig. Eine spätere Wiederholungsmessung zeigt, ob das Ergebnis stabil bleibt. Eine möglichst passende Vergleichsgruppe oder Vergleichsperiode kann die Frage nach alternativen Erklärungen besser bearbeiten. Auch dann bleibt die Güte von Auswahl, Durchführung und Vergleich zu prüfen.

Offenes Urteil mit Modell und Prüfkriterien

Die Frage „War Freiraum Freitag erfolgreich?“ bleibt als Urteil offen. Es gibt nicht nur einen erlaubten Wortlaut. Dein Urteil muss aber die Belege und Grenzen korrekt verwenden.

Urteilsmodell mit Lücken:

„Gemessen am Kriterium _____ ist das Projekt _____, weil _____. Die beobachtete Veränderung beträgt _____. Daraus folgt noch nicht sicher, dass _____. Offen bleibt _____. Als nächsten Prüfschritt würde ich _____, weil dadurch _____ besser geprüft werden kann.“

Prüfkriterien für ein gutes freies Urteil:

Das verwendete Kriterium war vor der Auswertung festgelegt.
Mindestens eine konkrete Zahl oder dokumentierte Beobachtung wird korrekt genannt.
Eingangsanzahl und unterschiedliche Personen werden nicht verwechselt.
Beobachtete Veränderung und sichere Ursache werden sprachlich getrennt.
Mindestens eine Unsicherheit wird benannt.
Der nächste Prüfschritt passt genau zur offenen Frage.
Es wird nicht mehr behauptet, als die Daten hergeben.

Das Zielprodukt: begrenzter Evaluationsbericht

Schreibe höchstens 150 Wörter und höchstens acht Sätze.

Dein Bericht soll diese Bausteine enthalten:

Erfolg: Nenne genau ein erreichtes Kriterium und mindestens einen Beleg.
Einordnung: Sage, ob es sich um Output, Reichweite, Beteiligungsqualität oder beobachtete Veränderung handelt.
Ursachenvorbehalt: Sage ausdrücklich, was nicht sicher bewiesen ist.
Offene Frage: Formuliere genau eine Frage, die nach der Auswertung übrig bleibt.
Nächster Prüfschritt: Beschreibe eine konkrete Datenerhebung oder einen konkreten Vergleich.
Datenqualität: Nenne mindestens eine Grenze der vorhandenen Daten.

Beispiel für die Form, nicht als Musterlösung zum Abschreiben: „Kriterium K__ wurde erreicht, weil ____. Dies ist ein Beleg für ____, aber kein sicherer Beweis für ____. Unklar bleibt ____. Im nächsten Schritt würde ich ____. Dabei müsste ich besonders auf ____ achten.“

Transferfall: „Sauberer Schulhof“

Auch dieser Fall ist vollständig fiktiv.

Eine Schülergruppe setzt drei Maßnahmen gegen Abfall auf dem Schulhof um: neue Trennbehälter, selbst gestaltete Hinweisschilder und eine zweiwöchige Peer-Aktion. Vorher wurde als Wirkungskriterium festgelegt: In fünf gleich markierten Schulhofzonen soll die durchschnittliche Zahl sichtbarer Abfallteile vier Wochen nach Projektende mindestens 30 % niedriger sein als vor dem Projekt.

Mitgelieferte Daten:

Vorher wurden an fünf vergleichbaren Montagen durchschnittlich 120 sichtbare Abfallteile gezählt.
Vier Wochen nach Projektende wurden an fünf vergleichbaren Montagen durchschnittlich 75 sichtbare Abfallteile gezählt.
Das entspricht einem Rückgang um 45 Stück beziehungsweise 37,5 %.
57 Ideen gingen ein; sie stammten nachweisbar von 18 verschiedenen Schülerinnen und Schülern.
Beiträge von 13 verschiedenen Schülerinnen und Schülern sind im Maßnahmenprotokoll wiederzufinden.
Gleichzeitig änderte die Schule den Reinigungsplan: Seit Projektwoche 2 wird der Hof zusätzlich am späten Vormittag gereinigt.

Datenherkunft: fiktives Zählprotokoll, fiktives Ideenprotokoll und fiktiver Reinigungsplan. Keine realen Personen oder Schulen.

Unsicherheit: Das Wirkungskriterium ist rechnerisch erreicht. Wegen des gleichzeitig geänderten Reinigungsplans ist aber nicht sicher, wie viel des Rückgangs auf das Jugendprojekt zurückgeht.

Transferauftrag: Formuliere einen Bericht mit vier Sätzen: Erfolg, Ursachenvorbehalt, offene Frage, nächster Prüfschritt. Nutze dabei mindestens zwei konkrete Zahlen.

Medien- und Datenrechte

Wikimedia-Commons-Bild „Wiki Digi Youth project in Rwanda 21.jpg“: Annick green, CC BY-SA 4.0.
Wikimedia-Commons-Bild „Questionnaire-checklist.png“: CC0.
Wikimedia-Commons-Bild „Sticky wall at Program Evaluation & Design Workshop in Budapest, 2013.jpg“: Sarah Stierch, CC BY 4.0.
YouTube-Video der Landeszentrale für politische Bildung Baden-Württemberg: eingebettet; keine freie Nachnutzungslizenz wird hier behauptet.
YouTube-Video „DRK – Wirkung messen: Indikatoren und Erhebungsmethoden“: eingebettet; keine freie Nachnutzungslizenz wird hier behauptet.
Werkstattdaten „Freiraum Freitag“ und „Sauberer Schulhof“: für diesen Kurs neu erfundene Unterrichtsmaterialien; keine realen personenbezogenen Daten, keine echten Projektzitate.

Interaktive Aufgaben

Quiz: Teste Dein Wissen

Was ist der wichtigste Ausgangspunkt für ein Evaluationsurteil? (Ein vorab festgelegtes Kriterium) (!Die größte gefundene Zahl) (!Die Meinung des Projektteams) (!Die Anzahl der Fotos vom Projekt)

Um wie viele Prozentpunkte stieg die hohe Zustimmung zum wahrgenommenen Einfluss bei den 28 verknüpften Fällen? (36 Prozentpunkte) (!20 Prozentpunkte) (!28 Prozentpunkte) (!68 Prozentpunkte)

Welche Zahl bezeichnet im Werkstattfall die nachweisbar berücksichtigten verschiedenen Stimmen? (24) (!96) (!44) (!8)

Warum sind 96 Eingänge nicht gleich 96 Stimmen? (Eine Person kann mehrere Beiträge eingereicht haben) (!Jeder Beitrag muss anonym sein) (!Nur schriftliche Beiträge zählen) (!Stimmen dürfen nie gezählt werden)

Was zeigt die Umsetzung von drei der vier ausgewählten Maßnahmen zunächst? (Einen Output des Projekts) (!Eine sicher verursachte langfristige Wirkung) (!Eine repräsentative Bevölkerungsmeinung) (!Eine Kontrollgruppe)

Warum beweist der Vorher-Nachher-Anstieg bei K1 nicht sicher eine alleinige Projektursache? (Es gibt keine passende Vergleichsgruppe und mögliche andere Erklärungen) (!Weil Prozentwerte grundsätzlich unbrauchbar sind) (!Weil 28 Personen niemals verglichen werden dürfen) (!Weil nur offene Fragen ausgewertet werden können)

Welche Daten eignen sich für K1 am besten? (Die 28 verknüpfbaren Vorher-Nachher-Fälle) (!Nur die 40 Vorher-Fragebögen) (!Nur die 36 Nachher-Fragebögen) (!Die 96 Ideeneingänge)

Was bleibt bei K3 trotz erreichtem Kriterium offen? (Die längere Freitagsöffnung ist noch nicht umgesetzt) (!Es wurde keine einzige Maßnahme umgesetzt) (!Der Status der Maßnahmen wurde nirgends veröffentlicht) (!Es gab keine Abstimmung)

Welcher nächste Schritt prüft am ehesten, ob die beobachtete Veränderung anhält? (Eine spätere Wiederholungsmessung mit denselben Kernfragen) (!Die bisherigen Zahlen größer darstellen) (!Nur neue Ideen zählen) (!Die Kriterien nachträglich absenken)

Was gehört in den begrenzten Evaluationsbericht? (Ein belegter Erfolg, eine offene Frage und ein konkreter nächster Prüfschritt) (!Nur positive Ergebnisse) (!Nur die Eingangsanzahl) (!Eine sichere Kausalaussage ohne Einschränkung)

Memory

Wirkungskriterium	vorab festgelegter Maßstab
Output	unmittelbar erzeugte Leistung
Outcome	Veränderung bei der Zielgruppe
Eingangsanzahl	Zahl aller eingegangenen Beiträge
Berücksichtigte Stimme	Beitrag einer unterschiedlichen Person im Entscheidungsprozess
Kausalität	Zusammenhang von Ursache und Wirkung

Drag and Drop

Ordne die richtigen Begriffe zu.	Thema
Wirkungskriterium	Maßstab vor der Auswertung
Vorher-Nachher-Daten	beobachtete Veränderung
Vergleichsgruppe	alternative Entwicklung abschätzen
Eingangsanzahl	alle eingegangenen Beiträge
Berücksichtigte Stimmen	verschiedene Personen mit dokumentiertem Beitrag im Entscheidungsprozess

Kreuzworträtsel

Kriterium	Wie heißt ein vorher festgelegter Maßstab für die Bewertung?
Evaluation	Wie heißt die systematische Auswertung eines Projekts anhand von Daten und Maßstäben?
Stichprobe	Wie heißt die untersuchte Auswahl aus einer größeren Grundgesamtheit?
Kausalität	Welcher Begriff bezeichnet den Zusammenhang von Ursache und Wirkung?
Outcome	Wie heißt eine Veränderung bei der Zielgruppe im Unterschied zu einer bloßen Leistung?
Transparenz	Wie heißt die Nachvollziehbarkeit von Zielen Entscheidungen und Rückmeldungen?

LearningApps

Lückentext

Eine Evaluation vergleicht Daten mit vorher festgelegten

. Ein unmittelbares Projektergebnis wie eine durchgeführte Aktion nennt man

. Eine Veränderung bei der Zielgruppe kann als

beschrieben werden. Für einen fairen Vorher-Nachher-Vergleich sind möglichst dieselben

hilfreich. Viele eingegangene Beiträge bedeuten nicht automatisch viele verschiedene

. Eine beobachtete Veränderung beweist ohne geeignetes Design noch keine sichere

. Eine mögliche andere Erklärung für einen Befund wird als

berücksichtigt. Ein guter Evaluationsbericht nennt neben einem Erfolg auch eine offene

. Der nächste Prüfschritt soll zusätzliche

liefern.

Offene Aufgaben

Leicht

Kriterienkarte: Gestalte eine Karte zu K1 mit den Feldern Ziel, Indikator, Grenzwert, Ergebnis und Unsicherheit.
Datenampel: Markiere D1 bis D9 mit Grün für direkt beobachtbar, Gelb für begrenzt aussagekräftig und Rot für ungeeignet zur jeweiligen Frage. Begründe drei Entscheidungen.
Stimmenzählung: Zeichne ein Schaubild, das 96 Eingänge, 44 identifizierbare Beitragende und 24 berücksichtigte Stimmen klar auseinanderhält.
Kurzbericht: Schreibe einen Evaluationsbericht zu K3 in höchstens 80 Wörtern und nenne ausdrücklich, was dadurch noch nicht bewiesen ist.

Standard

Diagramm: Erstelle ein Vorher-Nachher-Diagramm zu den 28 verknüpften Fällen und beschrifte die Veränderung korrekt in Prozentpunkten.
Interviewleitfaden: Formuliere fünf offene Fragen, mit denen Du prüfen könntest, warum Jugendliche ihren Einfluss nach dem Projekt anders einschätzen.
Datenprüfung: Untersuche, welche Folgen die nicht verknüpfbaren Fragebögen für das Urteil haben könnten. Formuliere zwei mögliche Verzerrungen.
Transferbericht: Werte den Fall „Sauberer Schulhof“ in höchstens 120 Wörtern aus und trenne Veränderung von Ursache.

Schwer

Vergleichsdesign: Entwirf eine möglichst faire Vergleichsgruppe oder Vergleichsperiode für „Freiraum Freitag“ und benenne zwei Grenzen Deines Designs.
Wirkungsmodell: Zeichne eine Kette von Aktivität über Output zu Outcome und ergänze an jeder Stelle mindestens einen möglichen Störfaktor.
Jugend-Audit: Entwickle mit einer kleinen Gruppe fünf Prüfkriterien dafür, ob Jugendliche im Projekt nicht nur eingeladen, sondern tatsächlich wirksam beteiligt wurden.
Evaluationskonferenz: Simuliere eine Besprechung mit Jugendlichen, Fachkraft, Träger und skeptischer Außenperson. Jede Rolle soll dieselben Daten anders gewichten; anschließend einigt Ihr Euch auf den nächsten Prüfschritt.

Lernkontrolle

Kriterienprüfung: Ein anderes Jugendprojekt erreicht 18 statt der vorher geforderten 20 berücksichtigten Stimmen, verbessert aber den Einflusswert deutlich. Formuliere ein differenziertes Urteil, ohne die Kriterien nachträglich zu verändern.
Kausalitätsprüfung: In einem Projekt steigt die Zufriedenheit nach einer neuen Aktion stark, gleichzeitig wechselt die Leitung. Erkläre, welche Aussage sicher möglich ist und welche nicht.
Stimmen und Eingänge: Ein Projekt erhält 140 Online-Beiträge von 22 Konten. Zeige, warum daraus weder 140 Stimmen noch 22 sicher verschiedene Personen folgen müssen und welche Zusatzdaten Du brauchst.
Transfer: Übertrage die Logik von „Freiraum Freitag“ auf ein Sport-, Kultur- oder Umweltprojekt und formuliere ein Outcome-Kriterium, einen Indikator und einen Störfaktor.
Prüfschritt: Entwickle für eine offene Frage aus Deinem Transferfall einen nächsten Prüfschritt, der innerhalb von vier Wochen realistisch umsetzbar ist.
Urteilsvergleich: Zwei Gruppen kommen mit denselben Daten zu unterschiedlichen Erfolgsurteilen. Prüfe beide Urteile anhand der Kriterien Belegtreue, Kausalitätsvorsicht, Transparenz und Umgang mit Unsicherheit.

Lernnachweis

Für einen Lernnachweis zu diesem Thema ist wichtig, dass Du:

Wirkungskriterien vor Dateninterpretationen von nachträglichen Maßstäben unterscheiden kannst.
Vorher-Nachher-Daten korrekt vergleichst und Prozentpunkte nicht mit Prozent verwechselst.
Datenherkunft für jede zentrale Aussage nennen kannst.
verschiedene Stimmen von Beiträgen, Klicks oder Eingängen unterscheiden kannst.
Output und Outcome auseinanderhältst.
beobachtete Veränderung und sichere Ursache sprachlich klar trennst.
mindestens eine Unsicherheit oder alternative Erklärung benennst.
einen begrenzten Evaluationsbericht mit Erfolg, offener Frage und konkretem nächsten Prüfschritt verfassen kannst.
in einem neuen Fall dieselben Prüfschritte selbstständig anwenden kannst.

OERs zum Thema

Verknüpfte Lernbereiche

Evaluation von Jugendprojekten

aiMOOC-Projekte

Frag mich zum aktuellen Lerninhalt oder wähle eine kurze Hilfe.

Textmodus bereit

Sprache