aiMOOC

Ein Jugendprojekt nach Umsetzung mit Wirkungskriterien auswerten

QR-Code

Einleitung

Ein Jugendprojekt nach Umsetzung mit Wirkungskriterien auswerten ist ein Werkstattkurs zum Auswerten eines bereits umgesetzten Jugendprojekts. Du arbeitest mit vollständig mitgelieferten, fiktiven Daten. Du vergleichst Messungen vor und nach dem Projekt mit Kriterien, die vorher festgelegt wurden. Dabei lernst Du drei besonders wichtige Unterscheidungen:

Veränderung ist beobachtbar, aber nicht automatisch eine sichere Ursache-Wirkungs-Aussage.
Eine hohe Eingangsanzahl bedeutet nicht automatisch, dass viele verschiedene junge Menschen tatsächlich berücksichtigt wurden.
Ein gutes Urteil nennt neben einem Erfolg auch eine offene Frage, Unsicherheit und einen konkreten nächsten Prüfschritt.

Der Einstieg ist ab Klasse 7 angelegt. Vertiefungen sind mit M für mittleres Niveau und E für erweitertes Niveau gekennzeichnet.

Wichtig: Alle Projektdaten, Personencodes und Protokollangaben im Werkstattfall sind erfunden und dienen ausschließlich dem Lernen. Es werden keine erfundenen Zitate als echte Quellen ausgegeben. Methodische Hinweise werden von den fiktiven Daten getrennt und mit öffentlichen Quellen belegt.

Medienhinweis: Das Foto zeigt ein reales Jugendprojekt als allgemeine Illustration von Projektarbeit, nicht das fiktive Fallbeispiel dieses Kurses. Quelle: Wikimedia Commons, Urheberin Annick green, Lizenz CC BY-SA 4.0. Die Lizenzangabe ist auf der Commons-Dateiseite zu prüfen.

Medienhinweis: Das Video „Warum sich Dein Engagement lohnt“ wird auf der Projektseite „Wirkung von Jugendbeteiligung“ der Freien Universität Berlin als Material verlinkt. Die Einbettung erfolgt über YouTube; eine offene Lizenz des Videos wird hier nicht behauptet. Für eine Weiterverwendung außerhalb der Einbettung müssen die Rechte beim Video geprüft werden.

Lernziele

Nach dem Kurs kannst Du ...

Wirkungskriterien und Indikatoren unterscheiden und prüfen, ob ein vorher gesetzter Maßstab erreicht wurde.
Vorher-Nachher-Daten mit demselben Nenner vergleichen und Veränderungen in Prozentpunkten beschreiben.
zwischen Eingängen, unterschiedlichen beteiligten Personen und nachweislich berücksichtigten Stimmen unterscheiden.
aus Dokumenten eine plausible Beteiligung des Projekts an einer Veränderung ableiten, ohne eine sichere Alleinursache zu behaupten.
Unsicherheiten, alternative Erklärungen und Grenzen der Daten benennen.
einen begrenzten Evaluationsbericht mit Erfolg, offener Frage und nächstem Prüfschritt verfassen.

Methodische Orientierung

Evaluation bedeutet mehr als „Hat es Spaß gemacht?“. Sie prüft systematisch, was umgesetzt wurde, welche Ergebnisse beobachtet werden und wie belastbar die Schlussfolgerungen sind. Für diesen Werkstattkurs sind vier Grundideen leitend.

Das Bundesjugendministerium empfiehlt in den Qualitätsstandards für Kinder- und Jugendbeteiligung, Beteiligungsprozesse nach Abschluss hinsichtlich ihrer Ergebnisse, Verfahren und strukturellen Rahmenbedingungen zu evaluieren. Die Wirksamkeit soll an verbindlichen Qualitätsstandards und vorher festgelegten Zielen beobachtet werden; junge Menschen sollen alters- und lebenslagengerecht an der Evaluation mitwirken. Das ist eine wichtige Grundlage für diesen Kurs.

Die OECD weist bei der Bewertung von Wirksamkeit darauf hin, dass eine beobachtete Veränderung und die Frage nach ihrer Ursache getrennt geprüft werden müssen. Eine Intervention kann zu einer Veränderung beigetragen haben, ohne deren einzige Ursache zu sein. Die britische Regierungsleitlinie „Magenta Book“ beschreibt für solche Fälle die Contribution Analysis: Eine begründete Wirkungsgeschichte wird mit mehreren Belegen und möglichen anderen Erklärungen geprüft. UNICEF betont zusätzlich, dass Jugendliche bei Monitoring und Evaluation sinnvoll, sicher und passend beteiligt werden können.

Datei:Programme3 Logic Model education WMUK.pdf

Medienhinweis: Die Logic-Model-Grafik von Wikimedia UK zeigt die Unterscheidung von Inputs, Aktivitäten, Outputs und Outcomes. Quelle: Wikimedia Commons, Daria Cybulska (WMUK), CC BY-SA 4.0. Die Grafik ist ein allgemeines Beispiel und kein Beleg für den fiktiven Werkstattfall.

Vier Begriffe für die Werkstatt

Begriff	Arbeitsdefinition im Kurs	Beispiel
Indikator	Eine mess- oder beobachtbare Größe.	Anteil der Jugendlichen, die auf einer Skala von 1 bis 5 den Wert 4 oder 5 wählen.
Kriterium	Ein vorher festgelegter Maßstab, an dem Du den Indikator beurteilst.	Mindestens 60 Prozent positive Antworten und mindestens 20 Prozentpunkte Zuwachs.
Beobachtete Veränderung	Ein Unterschied zwischen zwei Messzeitpunkten oder Zuständen.	Der positive Anteil steigt von 29 auf 75 Prozent.
Kausalaussage	Eine Aussage darüber, dass eine Maßnahme eine Veränderung verursacht hat.	„Das Projekt hat den Anstieg verursacht.“ Diese Aussage braucht stärkere Belege als der reine Vorher-Nachher-Vergleich.

Eingänge sind nicht automatisch Stimmen

Wenn eine Ideenbox 67 Karten enthält, weißt Du zunächst nur, dass 67 Eingänge gezählt wurden. Eine einzelne Person kann mehrere Karten abgegeben haben. Für die Frage, wie viele junge Menschen beteiligt waren, brauchst Du deshalb die Zahl unterschiedlicher Personen. Für die Frage, wie viele Stimmen tatsächlich berücksichtigt wurden, brauchst Du zusätzlich einen nachvollziehbaren Beleg, dass zu mindestens einem Beitrag der jeweiligen Person eine Reaktion dokumentiert wurde.

Im Werkstattfall unterscheiden wir deshalb:

Größe	Bedeutung
Eingangsanzahl	Zahl aller eingereichten Beiträge, auch wenn eine Person mehrere Beiträge einreicht.
einreichende Stimmen	Zahl unterschiedlicher Jugendlicher, die mindestens einen Beitrag eingereicht haben.
berücksichtigte Stimmen	Zahl unterschiedlicher Jugendlicher, bei denen mindestens ein Beitrag nachweislich übernommen, verändert übernommen oder begründet abgelehnt wurde.

Werkstattfall: JUGENDRAUM 27

JUGENDRAUM 27 ist ein vollständig fiktives sechswöchiges Beteiligungsprojekt in der erfundenen „Beispielstadt“. Jugendliche im Alter von 13 bis 16 Jahren entwickeln Vorschläge für die Umgestaltung eines Jugendtreffs. Nach drei Werkstattterminen entscheidet ein gemeinsames Team aus Jugendlichen und Mitarbeitenden über fünf konkrete Änderungen.

Die Auswertung findet nach der Umsetzung statt. Die Kriterien wurden aber bereits vor dem Projektstart festgelegt. Dadurch wird verhindert, dass der Maßstab nachträglich passend zu den Ergebnissen verschoben wird.

Medienhinweis: Das Foto dient als allgemeine Illustration einer Workshop-Dokumentation mit Haftnotizen. Quelle: Wikimedia Commons, Shahadusadik, CC0 1.0. Es zeigt nicht das fiktive Projekt JUGENDRAUM 27.

Material A: Vorher festgelegte Wirkungskriterien

Code	Wirkungskriterium	Indikator	Schwelle für „erreicht“
K1 Selbstwirksamkeit	Jugendliche erleben mehr Einfluss auf die Gestaltung des Treffs.	Anteil positiver Antworten auf die Aussage „Mit meinen Vorschlägen kann ich bei der Gestaltung des Jugendtreffs etwas verändern.“ Positive Antwort bedeutet Skalenwert 4 oder 5.	Nachher mindestens 60 Prozent positiv und Zuwachs gegenüber vorher mindestens 20 Prozentpunkte.
K2 Berücksichtigung	Unterschiedliche einreichende Jugendliche erhalten eine nachvollziehbare Reaktion auf ihre Vorschläge.	Anteil einreichender Jugendlicher, für die mindestens eine Reaktion in der Entscheidungsmatrix dokumentiert ist.	Mindestens 80 Prozent.
K3 Entscheidungsbeitrag	Jugendvorschläge tragen nachweisbar zu endgültigen Entscheidungen bei.	Zahl der fünf endgültigen Änderungen, bei denen ein Jugendvorschlag und ein bestätigender Eintrag im Sitzungsprotokoll zusammenpassen.	Mindestens zwei von fünf Änderungen.
K4 Rückmeldung	Entscheidungen werden transparent an die Beteiligten zurückgemeldet.	Zahl der fünf endgültigen Entscheidungen, die innerhalb von 14 Tagen mit Begründung veröffentlicht wurden.	Fünf von fünf.

Material B: Datensatz Selbstwirksamkeit

Für den direkten Vorher-Nachher-Vergleich werden nur die 24 Jugendlichen verwendet, die sowohl vor dem Projekt als auch nach dem Projekt dieselbe Frage beantwortet haben. Weitere 7 Jugendliche nahmen zwar an mindestens einem Termin teil, fehlen aber in mindestens einer der beiden Befragungen und werden deshalb nicht in diesen direkten Vergleich gemischt.

Skalenwert	Bedeutung	Vorher T0	Nachher T1
1	stimmt gar nicht	4	1
2	stimmt eher nicht	6	2
3	teils/teils	7	3
4	stimmt eher	5	10
5	stimmt völlig	2	8
Gesamt		24	24

Positive Antworten sind 4 oder 5.

Rechnung	Ergebnis
Vorher positiv	7 von 24 = rund 29 Prozent
Nachher positiv	18 von 24 = 75 Prozent
Veränderung	plus rund 46 Prozentpunkte

Prüfung K1: 75 Prozent liegen über der vorher gesetzten 60-Prozent-Schwelle. Der Zuwachs von rund 46 Prozentpunkten liegt über der geforderten Zunahme von 20 Prozentpunkten. K1 ist erreicht.

Unsicherheit: Die Befragung misst eine Selbsteinschätzung. Ohne Vergleichsgruppe ist nicht sicher, welcher Anteil der Veränderung auf das Projekt zurückgeht. Außerdem könnten Teilnehmende direkt nach dem Projekt besonders motiviert antworten.

Material C: Eingänge, Stimmen und Berücksichtigung

Während des Projekts wurden 67 Ideenbeiträge abgegeben. Sie stammen von 28 unterschiedlichen Jugendlichen. Manche Personen gaben mehrere Beiträge ab.

In der Entscheidungsmatrix ist für 24 dieser 28 Jugendlichen mindestens eine nachvollziehbare Reaktion auf einen eigenen Beitrag dokumentiert. Für vier einreichende Jugendliche findet sich keine zuordenbare Reaktion.

Kennzahl	Wert	Was darf daraus geschlossen werden?
Eingänge	67	Es gab viele Beiträge. Daraus folgt nicht, dass 67 verschiedene Jugendliche beteiligt waren.
einreichende Stimmen	28	28 unterschiedliche Jugendliche reichten mindestens einen Beitrag ein.
berücksichtigte Stimmen	24	Bei 24 unterschiedlichen Jugendlichen wurde mindestens ein Beitrag nachvollziehbar behandelt.
Berücksichtigungsquote	24 von 28 = rund 86 Prozent	Die Quote kann mit K2 verglichen werden.

Prüfung K2: Rund 86 Prozent liegen über der vorher gesetzten Schwelle von 80 Prozent. K2 ist erreicht.

Offene Frage: Warum fehlen bei vier einreichenden Jugendlichen nachvollziehbare Reaktionen? Ohne weitere Prüfung ist unklar, ob Beiträge übersehen, zusammengeführt oder nur nicht dokumentiert wurden.

Material D: Fünf endgültige Entscheidungen

Entscheidung	Dokumentierter Jugendvorschlag?	Bestätigung im Sitzungsprotokoll?	Andere erkennbare Einflüsse
bewegliche Sitzmodule	ja	ja	Lieferbarkeit und Brandschutz
längere Öffnung am Freitag	ja	ja	neuer Dienstplan
abschließbare Ladefächer	ja	ja	Datenschutz und Aufsicht
zusätzliche Notausgangsbeschilderung	nein	nein	Brandschutzprüfung
neue LED-Beleuchtung	nein	nein	kommunales Energiesparprogramm

Bei drei der fünf Entscheidungen gibt es sowohl einen passenden Jugendvorschlag als auch eine Bestätigung im Sitzungsprotokoll. Damit ist K3 erreicht.

Aber: Die Tabelle zeigt zugleich andere Einflüsse. Selbst bei den drei passenden Entscheidungen wäre die Aussage „Das Jugendprojekt war die einzige Ursache“ nicht belegt. Sachlich angemessener ist: Die Dokumente sprechen dafür, dass das Projekt zu mindestens drei Entscheidungen beigetragen hat.

Material E: Rückmeldung nach der Entscheidung

Vier der fünf endgültigen Entscheidungen wurden innerhalb von 14 Tagen mit einer kurzen Begründung im Jugendtreff und im Projektchat veröffentlicht. Zur Entscheidung über die Ladefächer wurde innerhalb dieser Frist nur das Ergebnis, aber keine Begründung veröffentlicht.

Prüfung K4: Vier von fünf entsprechen 80 Prozent. Das Kriterium verlangte jedoch fünf von fünf. K4 ist nicht erreicht.

Material F: Datenherkunft und Grenzen

Datensatz	Fiktive Herkunft	Bezugsgruppe	Stärke	Grenze
T0/T1-Befragung	anonymer Projektfragebogen mit wiedererkennbaren Zufallscodes	24 Jugendliche mit beiden Messzeitpunkten	direkter Vorher-Nachher-Vergleich derselben Gruppe	Selbsteinschätzung, keine Vergleichsgruppe, kleine und selbst ausgewählte Gruppe
Ideenlog	digitalisierte Karten aus drei Werkstattterminen	67 Eingänge von 28 unterschiedlichen Jugendlichen	trennt Beitragsmenge von Personenanzahl	nicht alle Teilnehmenden mussten eine Idee einreichen
Entscheidungsmatrix	Projektteam dokumentiert Reaktionen auf Vorschläge	28 einreichende Jugendliche	zeigt nachvollziehbare Bearbeitung	Dokumentation kann Lücken enthalten
Sitzungsprotokoll	gemeinsames Abschlussprotokoll	fünf endgültige Entscheidungen	verbindet Vorschläge mit Entscheidungen	dokumentiert Beitrag, beweist aber keine Alleinursache
Rückmeldelog	Projektkoordination dokumentiert Veröffentlichungen	fünf endgültige Entscheidungen	klarer Fristbezug	sagt noch nichts darüber, ob alle Beteiligten die Rückmeldung tatsächlich gelesen haben

Werkstattablauf

Der Kurs kann in vier Werkstattphasen zu je ungefähr 45 Minuten bearbeitet werden.

Werkstattphase 1: Kriterien zuerst

Lies Material A, ohne die Ergebnisdaten anzusehen.
Markiere bei jedem Kriterium den Indikator und die Schwelle.
Erkläre einem Partner oder einer Partnerin, warum ein nachträgliches Verschieben der Schwelle problematisch wäre.

Werkstattphase 2: Vorher und Nachher vergleichen

Berechne aus Material B den positiven Anteil für T0 und T1.
Gib die Veränderung in Prozentpunkten an.
Prüfe K1 genau mit beiden Teilbedingungen.
M: Erkläre, warum die sieben Jugendlichen ohne vollständiges Datenpaar nicht einfach in einen der beiden Zeitpunkte aufgenommen werden sollten.
E: Unterscheide, was aus dem Vorher-Nachher-Vergleich beobachtet werden kann und welche Kausalaussage damit noch nicht abgesichert ist.

Werkstattphase 3: Stimmen statt bloßer Eingänge zählen

Nutze Material C und notiere getrennt Eingänge, einreichende Stimmen und berücksichtigte Stimmen.
Prüfe K2 mit dem richtigen Nenner.
Formuliere eine Frage, mit der die vier nicht nachvollziehbar berücksichtigten Stimmen weiter untersucht werden könnten.
M: Beschreibe, wie Mehrfacheinreichungen die Eingangsanzahl erhöhen können, ohne die Zahl der beteiligten Personen zu verändern.
E: Entwickle eine Regel, wie zusammengefasste ähnliche Beiträge dokumentiert werden müssten, damit Berücksichtigung weiterhin überprüfbar bleibt.

Werkstattphase 4: Wirkung vorsichtig beurteilen

Prüfe K3 und K4 mit Material D und E.
Suche in Material D mindestens zwei alternative Einflüsse.
Verfasse anschließend den begrenzten Evaluationsbericht nach dem untenstehenden Berichtsrahmen.
M: Begründe bei jeder Aussage, auf welchen Datensatz sie sich stützt.
E: Formuliere eine plausible Beitragshypothese und nenne einen Befund, der sie schwächen würde.

Medienhinweis: Das Video „Wie kann Engagement in Gremien für Azubis erleichtert werden?“ wird von der Freien Universität Berlin als Material zum Forschungsprojekt über Jugendbeteiligung verlinkt. Die Einbettung erfolgt über YouTube; eine offene Lizenz wird hier nicht behauptet.

Vertiefung M/E

M-Niveau: Fair vergleichen

Bei einem fairen Vorher-Nachher-Vergleich sollte klar sein, welche Personen oder Fälle zu beiden Messzeitpunkten betrachtet werden. Wenn T0 aus 24 Personen und T1 aus 31 teilweise anderen Personen bestünde, könnte ein Unterschied sowohl durch echte Veränderung als auch durch die veränderte Zusammensetzung entstehen. Im Werkstattfall wird deshalb für K1 die Gruppe mit vollständigem Datenpaar verwendet.

M-Prüffrage: Was würde sich ändern, wenn gerade die sieben Jugendlichen ohne vollständiges Datenpaar besonders kritisch gewesen wären? Die richtige Antwort ist kein neuer Zahlenwert, sondern eine Unsicherheitsaussage: Das Ergebnis könnte die Erfahrungen der fehlenden Personen unzureichend abbilden.

E-Niveau: Attribution und Beitrag

Eine beobachtete Veränderung kann mehrere Ursachen haben. Für eine starke Kausalaussage müsste untersucht werden, was ohne das Projekt wahrscheinlich geschehen wäre. In vielen Jugendprojekten ist ein experimentelles Design weder sinnvoll noch praktikabel. Dann kann eine Beitragsaussage angemessener sein: Passt die erwartete Wirkungskette zu den Daten? Wurde die Aktivität tatsächlich umgesetzt? Gibt es mehrere passende Belege? Welche anderen Erklärungen sind möglich? Welche Befunde sprechen gegen die eigene Deutung?

Für JUGENDRAUM 27 lautet eine vorsichtige Beitragshypothese: Die Werkstätten haben wahrscheinlich dazu beigetragen, dass mehrere Jugendvorschläge in endgültige Entscheidungen eingingen. Dafür sprechen die zuordenbaren Vorschläge und Protokolle. Gegen eine sichere Alleinursache sprechen gleichzeitig Dienstplan, Brandschutz, Energiesparprogramm und weitere Rahmenbedingungen.

Urteilsmodell für offene Fragen

Freie Urteile bleiben in diesem Kurs offen. Es gibt nicht für jede Transferfrage eine einzige richtige Schlussformulierung. Dein Urteil soll aber prüfbar sein.

Nutze dieses Vier-Satz-Modell:

Beobachtung: „Die Daten zeigen ...“
Kriteriumsbezug: „Gemessen am vorher festgelegten Kriterium ...“
Unsicherheit: „Nicht gesichert ist ..., weil ...“
Nächster Prüfschritt: „Als Nächstes sollte ... erhoben oder geprüft werden, damit ...“

Ein gutes Urteil erfüllt folgende Prüfkriterien:

Prüfkriterium	Kontrollfrage
Datenbezug	Nennst Du den passenden Datensatz oder Beleg?
Maßstab	Vergleichst Du mit dem vorher festgelegten Kriterium?
Stimmenbezug	Trennst Du Beitragsmenge, Personenanzahl und berücksichtigte Stimmen?
Kausalvorsicht	Trennst Du beobachtete Veränderung von sicherer Ursache?
Unsicherheit	Nennst Du mindestens eine plausible Grenze oder alternative Erklärung?
Prüfbarkeit	Ist der nächste Schritt konkret genug, dass eine andere Person ihn durchführen könnte?

Produkt: Begrenzter Evaluationsbericht

Dein Produkt umfasst höchstens 180 Wörter. Der Bericht soll keine langen Projektbeschreibungen wiederholen, sondern die wichtigsten Befunde knapp begründen.

Pflichtteil	Inhalt
Erfolg	Nenne mindestens ein erreichtes Kriterium mit Zahl und Beleg.
Grenze	Nenne mindestens eine Unsicherheit oder alternative Erklärung.
Offene Frage	Formuliere eine Frage, die mit den vorhandenen Daten nicht beantwortet ist.
Nächster Prüfschritt	Lege fest, wer oder was wann erneut geprüft werden soll und welche Information dadurch gewonnen wird.

Schreibrahmen: „Bei K... zeigt sich ... . Das vorher festgelegte Kriterium ... ist damit erreicht/nicht erreicht. Die Daten belegen ..., aber nicht sicher ... . Offen bleibt ... . Als nächsten Prüfschritt würden wir ... .“

Kein Pflichturteil: Du darfst den Gesamterfolg unterschiedlich gewichten. Ein Bericht kann zum Beispiel K1 bis K3 stärker gewichten oder das nicht erfüllte K4 als besonders wichtig ansehen. Entscheidend ist, dass Deine Gewichtung ausdrücklich begründet und an den Prüfkriterien überprüfbar wird.

Transferfall: Pausenhof-Müllstation

Eine andere Klasse untersucht ein fiktives Schulprojekt zur Mülltrennung. Vor dem Projekt wurden 100 beobachtete Entsorgungsvorgänge erfasst; 52 waren korrekt getrennt. Nach dem Projekt wurden erneut 100 Vorgänge beobachtet; 76 waren korrekt getrennt. Das vorher festgelegte Erfolgskriterium lautet: mindestens 70 Prozent korrekte Trennung nach dem Projekt und mindestens 15 Prozentpunkte Verbesserung.

Gleichzeitig wurden neue farbige Tonnen aufgestellt, Lehrkräfte erinnerten eine Woche lang an die Mülltrennung und der Beobachtungszeitraum nach dem Projekt lag bei trockenem Wetter, während es vorher häufig regnete.

Datenherkunft: Beide Beobachtungen stammen im fiktiven Fall aus standardisierten Zählbögen eines Schülerteams. Personen wurden nicht identifiziert. Die Daten zeigen eine Veränderung von 52 auf 76 Prozent, also plus 24 Prozentpunkte. Das Kriterium ist erreicht. Unsicher bleibt jedoch die Ursache, weil mehrere Veränderungen gleichzeitig stattfanden.

Transferauftrag M: Formuliere mit dem Vier-Satz-Modell ein vorsichtiges Urteil.

Transferauftrag E: Plane einen nächsten Prüfschritt, der mindestens eine alternative Erklärung gezielt prüft, ohne einzelne Schülerinnen oder Schüler bloßzustellen.

Interaktive Aufgaben

Quiz: Teste Dein Wissen

Auswahlaufgabe 1: Welche Aussage bewertet K2 fachlich richtig? (24 von 28 einreichenden Jugendlichen haben eine dokumentierte Reaktion und K2 ist erreicht) (!67 Eingänge beweisen, dass 67 verschiedene Jugendliche berücksichtigt wurden) (!31 Projektteilnehmende bedeuten automatisch 31 berücksichtigte Stimmen) (!Vier nicht zuordenbare Stimmen verändern die Bewertung grundsätzlich nicht)

Hilfestufe 1: Suche in Material C den Nenner des Kriteriums. Hilfestufe 2: K2 fragt nach unterschiedlichen einreichenden Jugendlichen, nicht nach der Zahl aller Karten. Belegstellen: Material A, K2; Material C; Beleg Q1 im Quellenabschnitt. Erläuterte Lösung: Der passende Nenner sind 28 einreichende Jugendliche. Bei 24 davon ist mindestens eine Reaktion dokumentiert. Rund 86 Prozent liegen über der vorher festgelegten Schwelle von 80 Prozent. Die 67 Eingänge dürfen nicht als 67 Stimmen behandelt werden.

Auswahlaufgabe 2: Welche Schlussfolgerung zu K3 ist am besten belegt? (Die Dokumente sprechen für einen Projektbeitrag zu drei Entscheidungen, aber nicht für eine sichere Alleinursache) (!Der Vorher-Nachher-Vergleich beweist, dass nur das Projekt die Entscheidungen verursacht hat) (!Drei passende Protokolle machen alle anderen Einflüsse bedeutungslos) (!Weil andere Einflüsse vorhanden sind, darf überhaupt kein Projektbeitrag angenommen werden)

Hilfestufe 1: Unterscheide „beigetragen“ von „allein verursacht“. Hilfestufe 2: Material D enthält sowohl passende Projektbelege als auch andere Einflüsse. Belegstellen: Material D; Beleg Q2 und Q3 im Quellenabschnitt. Erläuterte Lösung: Drei Entscheidungen lassen sich mit Jugendvorschlägen und Protokollen verbinden. Das stützt eine Beitragshypothese. Dienstplan, Brandschutz, Datenschutz und Energiesparprogramm zeigen aber, dass weitere Faktoren mitwirkten. Eine sichere Alleinursache wäre deshalb zu stark formuliert.

Auswahlaufgabe 3: Welcher nächste Prüfschritt passt am besten zur offenen Frage aus K2 und K4? (Die vier nicht nachvollziehbar berücksichtigten Stimmen gezielt prüfen und nach sechs Wochen erfassen, ob Begründungen alle Beteiligten erreicht haben) (!Nur die Zahl neuer Ideenkarten erhöhen und daraus auf bessere Berücksichtigung schließen) (!Den Erfolg sofort veröffentlichen und die fehlenden Reaktionen nicht weiter untersuchen) (!Eine neue Schwelle festlegen, die zu den vorhandenen Ergebnissen passt)

Hilfestufe 1: Ein nächster Prüfschritt soll genau eine offene Lücke kleiner machen. Hilfestufe 2: In Material C fehlen vier nachvollziehbare Reaktionen; Material E zeigt eine unvollständige begründete Rückmeldung. Belegstellen: Material C und E; Beleg Q1 und Q4 im Quellenabschnitt. Erläuterte Lösung: Der vorgeschlagene Schritt prüft zwei konkrete Lücken mit benennbarer Zielgruppe und einem Zeitpunkt. Eine höhere Eingangsanzahl beantwortet dagegen nicht, ob Stimmen berücksichtigt wurden. Ein nachträgliches Absenken von Kriterien wäre methodisch unredlich.

Was ist im Werkstattkurs ein Wirkungskriterium? (Ein vorher festgelegter Maßstab zur Bewertung eines Indikators) (!Eine beliebige Zahl, die erst nach der Auswertung gewählt wird) (!Jede einzelne Wortmeldung aus einem Workshop) (!Nur die Gesamtzahl aller Teilnehmenden)

Was bedeutet ein Anstieg von 29 Prozent auf 75 Prozent? (Eine Zunahme um 46 Prozentpunkte) (!Eine Zunahme um 46 Personen) (!Eine sichere Projektwirkung von 46 Prozent) (!Eine Abnahme um 46 Prozentpunkte)

Welche Zahl beschreibt im Fall JUGENDRAUM 27 die Eingangsanzahl? (67 Ideenbeiträge) (!28 unterschiedliche einreichende Jugendliche) (!24 berücksichtigte Stimmen) (!fünf endgültige Entscheidungen)

Warum werden für K1 dieselben 24 Jugendlichen an T0 und T1 verglichen? (Damit der Vergleich nicht durch unterschiedlich zusammengesetzte Gruppen verzerrt wird) (!Damit automatisch eine sichere Ursache bewiesen ist) (!Damit fehlende Stimmen keine Rolle mehr spielen) (!Damit jede Person dieselbe Antwort geben muss)

Warum ist K4 nicht erreicht? (Weil nur vier von fünf Entscheidungen fristgerecht mit Begründung rückgemeldet wurden) (!Weil keine einzige Entscheidung veröffentlicht wurde) (!Weil die Eingangsanzahl kleiner als die Zahl der Entscheidungen war) (!Weil Selbstwirksamkeit nicht gemessen wurde)

Was ist eine alternative Erklärung im Werkstattfall? (Ein neuer Dienstplan beeinflusst die längere Freitagsöffnung) (!Die vorher festgelegte Schwelle von K2) (!Die Skalenwerte der T0-Befragung) (!Die Definition einer berücksichtigten Stimme)

Welche Aussage passt zum Transferfall Pausenhof-Müllstation? (Das Erfolgskriterium ist erreicht, aber mehrere gleichzeitige Veränderungen erschweren eine eindeutige Ursachenzuordnung) (!Das Erfolgskriterium ist verfehlt, weil 76 kleiner als 70 ist) (!Die farbigen Tonnen beweisen allein die gesamte Veränderung) (!Wetterbedingungen dürfen bei einer Evaluation nie erwähnt werden)

Memory

Wirkungskriterium	vorher festgelegter Bewertungsmaßstab
Indikator	mess- oder beobachtbare Größe
Eingangsanzahl	Summe aller eingereichten Beiträge
Berücksichtigungsquote	Anteil nachvollziehbar behandelter einreichender Personen
Beitragshypothese	begründete Annahme eines Mitwirkens der Maßnahme
Unsicherheit	Grenze der Schlussfolgerung

Drag and Drop

Ordne die richtigen Begriffe zu.	Thema
Vorher-Nachher-Vergleich	beobachtete Veränderung
Entscheidungsmatrix	nachvollziehbare Berücksichtigung
Eingangsanzahl	Menge aller Beiträge
Berücksichtigungsquote	Anteil einreichender Personen mit dokumentierter Reaktion
Alternativerklärung	möglicher weiterer Einfluss auf ein Ergebnis

Kreuzworträtsel

Evaluation	Wie heißt die systematische Bewertung eines Projekts und seiner Ergebnisse?
Indikator	Wie heißt eine mess- oder beobachtbare Größe, an der ein Kriterium geprüft wird?
Kriterium	Wie heißt der vorher festgelegte Bewertungsmaßstab?
Kausalität	Wie heißt der Zusammenhang von Ursache und Wirkung?
Stichprobe	Wie heißt die ausgewählte Gruppe, von der Daten erhoben werden?
Transparenz	Wie heißt die nachvollziehbare Offenlegung von Entscheidungen und Begründungen?

LearningApps

Lückentext

Ein

ist eine mess- oder beobachtbare Größe.

Ein

legt vorher fest, wann ein Ergebnis als ausreichend gilt.

Beim direkten Vorher-Nachher-Vergleich von K1 werden dieselben

Jugendlichen betrachtet.

Der positive Anteil steigt im Werkstattfall auf

.

Die Veränderung beträgt rund

.

Die 67 Ideenkarten sind eine

und keine Zahl unterschiedlicher Personen.

Für K2 werden

einreichende Jugendliche als Nenner verwendet.

Bei 24 Personen ist mindestens eine Reaktion dokumentiert, deshalb beträgt die Berücksichtigungsquote rund

.

Ein dokumentierter Projektbeitrag ist nicht dasselbe wie eine sichere

.

K4 ist nicht erreicht, weil eine Entscheidung ohne fristgerechte

zurückgemeldet wurde.

Ein guter Evaluationsbericht nennt neben einem Erfolg auch eine

.

Der letzte Teil des Berichts formuliert einen konkreten nächsten

.

Offene Aufgaben

Leicht

Kriterienkarte: Übertrage K1 bis K4 auf vier eigene Karten und markiere jeweils Ziel, Indikator und Schwelle.
Datenplakat: Gestalte aus Material B ein Vorher-Nachher-Plakat, auf dem Nenner, Prozentwerte und Prozentpunkte eindeutig erkennbar sind.
Stimmen zählen: Erkläre an einem selbst erfundenen Beispiel, warum zehn Beiträge von drei Personen nicht dasselbe sind wie zehn berücksichtigte Stimmen.
Evaluationsbericht: Verfasse einen Bericht mit höchstens 180 Wörtern und nutze den Vier-Satz-Rahmen.

Standard

Datenqualität: Prüfe auf M-Niveau Material F und ordne jeder Datenquelle eine Stärke und eine Grenze in eigenen Worten zu.
Interviewleitfaden: Entwickle fünf kurze, nicht suggestive Fragen für die vier einreichenden Jugendlichen, deren Berücksichtigung im fiktiven Fall nicht nachvollziehbar ist.
Entscheidungspfad: Zeichne für eine der drei dokumentierten Entscheidungen den Weg vom Jugendvorschlag bis zur endgültigen Entscheidung und markiere weitere Einflüsse.
Transferanalyse: Bewerte den Fall „Pausenhof-Müllstation“ mit dem offenen Urteilsmodell und begründe, welche Zusatzdaten Du am wichtigsten findest.

Schwer

Beitragshypothese: Formuliere auf E-Niveau zwei konkurrierende Erklärungen für den Anstieg der Selbstwirksamkeit und beschreibe, welche neuen Daten zwischen ihnen unterscheiden könnten.
Evaluationsdesign: Plane eine faire Folgeerhebung für JUGENDRAUM 27, die sowohl wiederkehrende Teilnehmende als auch bisher leise oder fehlende Stimmen erreicht.
Ethik der Evaluation: Entwickle Regeln für Datenschutz, freiwillige Teilnahme, verständliche Information und Rückmeldung der Ergebnisse an Jugendliche.
Videoprojekt: Produziere ein kurzes Erklärvideo, das den Unterschied zwischen beobachteter Veränderung, Projektbeitrag und sicherer Ursache an einem eigenen Beispiel zeigt; verwende nur selbst erstellte oder rechtlich geklärte Medien.

Lernkontrolle

Kriterien vor Daten: Du erhältst einen neuen Projektfall, bei dem das Erfolgskriterium erst nach der Messung formuliert wurde. Erkläre zwei Probleme dieses Vorgehens und entwickle eine bessere Reihenfolge.
Nennerproblem: In einem Jugendforum gehen 120 Kommentare von 18 Personen ein. 15 Personen erhalten eine dokumentierte Reaktion. Entscheide, welche Zahlen Du für Beitragsmenge, Stimmenzahl und Berücksichtigungsquote brauchst, und begründe.
Kausalität prüfen: Ein Projektwert verbessert sich gleichzeitig mit einer neuen Schulregel. Formuliere eine zulässige Beobachtung, eine vorsichtige Beitragshypothese und eine unzulässig starke Kausalaussage.
Datenlücke: In einer Nachher-Befragung fehlen vor allem Jugendliche, die nur einmal teilgenommen haben. Erkläre, wie diese Ausfälle das Urteil beeinflussen könnten und welche Folgeerhebung Du planst.
Transparenz: Ein Projekt erfüllt drei Wirkungskriterien, veröffentlicht aber keine Begründungen zu abgelehnten Vorschlägen. Beurteile den Zielkonflikt mit dem Vier-Satz-Modell, ohne eine einzige Mustermeinung vorauszusetzen.
Transfer: Übertrage die Werkstattlogik auf ein selbst gewähltes Schul-, Vereins- oder Jugendhausprojekt und formuliere ein Kriterium, einen Indikator, eine mögliche Alternativerklärung und einen nächsten Prüfschritt.

Lernnachweis

Für einen überzeugenden Lernnachweis sind folgende Punkte wichtig:

Du kannst mindestens ein vorher festgelegtes Wirkungskriterium korrekt mit einem Indikator vergleichen.
Du verwendest beim Vorher-Nachher-Vergleich einen passenden Nenner und beschreibst Unterschiede in Prozentpunkten.
Du trennst Eingangsanzahl, unterschiedliche Personen und berücksichtigte Stimmen.
Du unterscheidest beobachtete Veränderung, plausible Beitragsaussage und sichere Ursachenzuschreibung.
Du nennst Datenherkunft und mindestens eine relevante Unsicherheit.
Du formulierst einen konkreten, durchführbaren nächsten Prüfschritt.
Du kennzeichnest fiktive Materialien und gibst reale Quellen sowie Medienrechte sauber an.
Du kannst ein offenes Urteil anhand transparenter Prüfkriterien begründen.

Quellen und Belegstellen

Q1 – Öffentliche Behördenquelle: Bundesministerium für Familie, Senioren, Frauen und Jugend, „Mitwirkung mit Wirkung – Qualitätsstandards für Kinder- und Jugendbeteiligung“, besonders Abschnitt 5.2.5 „Beteiligung wird überprüft“, S. 39. Dort wird die Evaluation nach Abschluss, der Bezug auf vorher festgelegte Ziele und Qualitätsstandards sowie die Beteiligung junger Menschen an der Evaluation beschrieben. Publikationsseite und PDF

Q2 – Öffentliche internationale Quelle: OECD, „Applying Evaluation Criteria Thoughtfully“, Abschnitt zu Effectiveness. Die Quelle unterscheidet beobachtete Veränderungen von der Frage, ob diese der Intervention zugerechnet werden können oder ob die Intervention zu ihnen beigetragen hat. OECD

Q3 – Öffentliche Regierungsquelle: HM Treasury und Evaluation Task Force, „Magenta Book“, Annex A, Abschnitt A1.4 Contribution analysis. Der Ansatz prüft eine begründete Wirkungskette mit mehreren Belegen und berücksichtigt alternative Erklärungen; er liefert keine automatische Beweisführung für eine Alleinursache. GOV.UK

Q4 – Öffentliche internationale Quelle: UNICEF, „Guidance Note: Adolescent participation in UNICEF monitoring and evaluation“. Die Handreichung beschreibt, wie Jugendliche sinnvoll, sicher und ethisch in Monitoring und Evaluation beteiligt werden können. UNICEF

Q5 – Wissenschaftlicher Realfall zur Vertiefung: Freie Universität Berlin, Institut Futur, „Jugendbeteiligung: Mitentscheiden und Skills fürs Leben lernen“. Die Seite fasst eine Untersuchung zur Wirkung von Jugendbeteiligung im youpan zusammen und verlinkt die beiden im Kurs eingebetteten Videos. FU Berlin

Quellenregel: Die Quellen Q1 bis Q5 dienen der methodischen Orientierung und dem Realitätsbezug. Die Zahlen des Werkstattfalls JUGENDRAUM 27 sowie des Transferfalls Pausenhof-Müllstation stammen nicht aus diesen Quellen, sondern sind vollständig fiktive Unterrichtsdaten.

Medienrechte und Herkunft

Medium	Herkunft	Rechtehinweis
Wiki Digi Youth project in Rwanda 21.jpg	Wikimedia Commons, Annick green	CC BY-SA 4.0; reale Aufnahme, nur allgemeine Illustration
Programme3 Logic Model education WMUK.pdf	Wikimedia Commons, Daria Cybulska (WMUK)	CC BY-SA 4.0; allgemeines Logic-Model-Beispiel
Workshop flipchart with post-it notes at Mozilla festival 2025.jpg	Wikimedia Commons, Shahadusadik	CC0 1.0; allgemeine Workshop-Illustration
YouTube-Video „Warum sich Dein Engagement lohnt“	über die Projektseite der Freien Universität Berlin verlinkt	Einbettung über YouTube; keine offene Lizenz wird hier behauptet
YouTube-Video „Wie kann Engagement in Gremien für Azubis erleichtert werden?“	über die Projektseite der Freien Universität Berlin verlinkt	Einbettung über YouTube; keine offene Lizenz wird hier behauptet

OERs zum Thema

Die Wikipedia-Seite dient als frei zugänglicher Einstieg in den allgemeinen Begriff Evaluation. Für die speziellen Regeln dieses Werkstattkurses sind die oben genannten Behörden- und Fachquellen maßgeblich.

Verknüpfte Lernbereiche

Evaluation

aiMOOC-Projekte

Inhalte werden geladen ...

Mediathek wird aus dem Wiki geladen ...

Frag mich zum aktuellen Lerninhalt oder wähle eine kurze Hilfe.

Textmodus bereit

Sprache