Empirische Bildungsforschung - Pädagogik
Empirische Bildungsforschung - Pädagogik
Empirische Bildungsforschung - Pädagogik
Einleitung
Die Empirische Bildungsforschung untersucht systematisch, wie Bildung, Erziehung, Sozialisation, Lehren und Lernen unter realen oder kontrollierten Bedingungen verlaufen. Sie fragt zum Beispiel, welche Bedingungen Lernprozesse fördern, wie sich Bildungsungleichheiten entwickeln, wie pädagogische Maßnahmen wirken und wie Bildungsinstitutionen gestaltet werden können. Dabei verbindet sie Perspektiven der Pädagogik, Erziehungswissenschaft, Psychologie, Soziologie, Fachdidaktik, Ökonomie und Statistik.
Empirisch bedeutet, dass Aussagen nicht allein aus Überzeugungen, Traditionen oder theoretischen Annahmen abgeleitet werden. Forschende gewinnen und analysieren systematisch Daten, um theoretisch begründete Fragen zu beantworten. Diese Daten können aus Tests, Fragebögen, Interviews, Beobachtungen, Unterrichtsvideos, Dokumenten, digitalen Lernumgebungen oder administrativen Statistiken stammen.
Der Kurs richtet sich besonders an Studierende der Pädagogik und der Erziehungswissenschaft. Du lernst, Forschungsfragen zu entwickeln, Untersuchungsdesigns zu beurteilen, quantitative und qualitative Methoden zu unterscheiden, Befunde kritisch zu interpretieren und ihre Bedeutung für pädagogisches Handeln einzuschätzen. Dabei wird deutlich: Empirische Befunde ersetzen keine pädagogischen Wertentscheidungen. Sie können aber sichtbar machen, welche Annahmen durch Daten gestützt werden, wie groß Effekte sind, für welche Gruppen sie gelten und wo Unsicherheiten bestehen.
Der dargestellte Forschungsprozess ist kein starrer Ablauf. Neue Befunde können dazu führen, dass Begriffe präzisiert, Theorien verändert oder neue Fragen entwickelt werden.
Lernziele
Nach der Bearbeitung dieses aiMOOCs kannst Du:
- Gegenstand und Funktion: erklären, welche Fragen die empirische Bildungsforschung bearbeitet und wie sie sich in die Pädagogik einordnet.
- Forschungsfragen: aus pädagogischen Problemen präzise, untersuchbare Fragestellungen entwickeln.
- Operationalisierung: theoretische Begriffe in beobachtbare Indikatoren und messbare Variablen übersetzen.
- Forschungsdesigns: Querschnitt-, Längsschnitt-, Experimental-, Evaluations- und Fallstudiendesigns vergleichen.
- Quantitative Methoden: Tests, Fragebögen und statistische Analysen hinsichtlich ihrer Aussagekraft beurteilen.
- Qualitative Methoden: Interviews, Beobachtungen und Inhaltsanalysen methodisch einordnen.
- Mixed-Methods-Ansätze: die Verbindung qualitativer und quantitativer Zugänge begründen.
- Gütekriterien: Objektivität, Reliabilität, Validität und qualitative Qualitätsmaßstäbe anwenden.
- Kausalität: zwischen Beschreibung, Zusammenhang und Ursache unterscheiden.
- Forschungsethik: Datenschutz, informierte Einwilligung und wissenschaftliche Integrität berücksichtigen.
- Transfer: Forschungsergebnisse reflektiert auf pädagogische Praxis und Bildungspolitik beziehen.
Gegenstand und Selbstverständnis
Was untersucht die empirische Bildungsforschung?
Empirische Bildungsforschung untersucht Bildungsprozesse auf mehreren Ebenen. Auf der Ebene des Individuums interessieren zum Beispiel Kompetenzentwicklung, Motivation, Selbstkonzept, Lernstrategien und Bildungsentscheidungen. Auf der Ebene pädagogischer Interaktionen werden Unterrichtsqualität, Feedback, Klassenführung, Beratung oder Beziehungen untersucht. Auf der Ebene von Organisationen stehen Schulen, Kindertageseinrichtungen, Hochschulen, Weiterbildungseinrichtungen oder Jugendhilfeorganisationen im Mittelpunkt. Auf der Ebene des Bildungssystems geht es unter anderem um Bildungsstandards, Übergänge, soziale Ungleichheit, Inklusion, Finanzierung und Steuerung.
Digitale Lernumgebungen erzeugen neue Forschungsgegenstände. Neben klassischen Leistungsdaten können Bearbeitungszeiten, Klickpfade, Texteingaben oder Interaktionsmuster analysiert werden. Solche Prozessdaten sind jedoch nicht automatisch aussagekräftig. Ihre Bedeutung muss theoretisch begründet, datenschutzrechtlich geprüft und methodisch validiert werden.
Interdisziplinarität und pädagogische Perspektive
Die Pädagogik beschäftigt sich nicht nur mit der Frage, was wirkt. Sie fragt auch, welche Ziele Bildung verfolgen soll, wie Selbstbestimmung ermöglicht werden kann und welche Verantwortung pädagogische Institutionen tragen. Empirische Bildungsforschung kann zeigen, wie häufig bestimmte Phänomene auftreten, welche Bedingungen mit ihnen zusammenhängen und welche Maßnahmen unter bestimmten Voraussetzungen wirksam sind. Sie kann jedoch nicht allein entscheiden, was gerecht, wünschenswert oder pädagogisch legitim ist.
Eine professionelle pädagogische Urteilsbildung verbindet deshalb mindestens drei Wissensformen: empirische Befunde, theoretische Deutungen und normative Reflexion. Hinzu kommt das Erfahrungswissen der pädagogischen Praxis sowie die Perspektive der Lernenden und weiterer Beteiligter.
Historische Entwicklung
Die moderne empirische Bildungsforschung entwickelte sich aus empirischer Pädagogik, psychologischer Diagnostik, Bildungssoziologie und sozialwissenschaftlicher Methodenlehre. Im deutschsprachigen Raum gewann sie seit den 1960er-Jahren an Bedeutung. Einen zusätzlichen Schub erhielten vergleichende Leistungsmessungen durch Studien wie TIMSS, PISA und IGLU. Sie machten Unterschiede zwischen Bildungssystemen, Kompetenzständen und sozialen Gruppen öffentlich sichtbar.
Die Entwicklung führte zu neuen Forschungsinstituten, Studiengängen, Professuren, Forschungsdatenzentren und internationalen Kooperationen. Gleichzeitig entstand Kritik an einer möglichen Verengung von Bildung auf messbare Kompetenzen. Diese Kritik ist produktiv, wenn sie dazu beiträgt, theoretische Voraussetzungen, Messgrenzen, Nebenfolgen und normative Entscheidungen offenzulegen.
Vom pädagogischen Problem zur Forschungsfrage
Forschungsproblem, Theorie und Forschungsfrage
Ein Forschungsprojekt beginnt häufig mit einem pädagogischen Problem: Lernende beteiligen sich wenig, Übergänge verlaufen sozial ungleich, eine Fördermaßnahme zeigt uneinheitliche Wirkungen oder Lehrkräfte berichten von hoher Belastung. Aus einem solchen Ausgangspunkt muss eine präzise Forschungsfrage entwickelt werden.
Eine gute Forschungsfrage benennt den Gegenstand, die interessierenden Personen oder Institutionen, den Kontext und die Art der erwarteten Aussage. Sie kann beschreibend, vergleichend, zusammenhangsbezogen, erklärend oder evaluativ formuliert sein.
- Deskriptiv: Wie häufig nutzen Studierende selbstregulierte Lernstrategien?
- Vergleichend: Unterscheidet sich die Lernmotivation zwischen zwei Lehr-Lern-Formaten?
- Zusammenhangsbezogen: Wie hängen wahrgenommenes Feedback und akademisches Selbstkonzept zusammen?
- Erklärend: Führt eine strukturierte Feedbackintervention zu besseren Lernleistungen?
- Evaluativ: Unter welchen Bedingungen wird ein Mentoringprogramm erfolgreich umgesetzt?
Eine Theorie ordnet Begriffe und vermutete Beziehungen. Aus ihr können Hypothesen abgeleitet werden. Hypothesen müssen so formuliert sein, dass Daten sie stützen, einschränken oder widerlegen können.
Begriffe und Konstrukte
Viele pädagogisch relevante Merkmale sind nicht unmittelbar beobachtbar. Motivation, Kompetenz, Selbstwirksamkeit, Schulklima oder Bildungsaspiration sind latente Konstrukte. Sie werden über beobachtbare Indikatoren erschlossen. Ein einzelner Indikator bildet ein komplexes Konstrukt meist nur unvollständig ab.
Ein theoretischer Begriff muss daher definiert werden. Anschließend wird entschieden, welche Dimensionen er umfasst und welche Beobachtungen als Hinweise gelten. Diese Verbindung von Theorie und Messung ist für die inhaltliche Gültigkeit einer Studie entscheidend.
Operationalisierung
Operationalisierung bedeutet, ein theoretisches Konstrukt in beobachtbare Merkmale zu übersetzen. Für das Konstrukt Lernmotivation könnten beispielsweise Selbstauskünfte, beobachtete Ausdauer, freiwillige Aufgabenwahl oder Verhaltensdaten genutzt werden. Jede Variante erfasst unterschiedliche Ausschnitte.
Eine gute Operationalisierung prüft:
- Begriffsdefinition: Ist klar, was unter dem Konstrukt verstanden wird?
- Indikator: Passen die Indikatoren zur theoretischen Definition?
- Messinstrument: Sind Aufgaben, Fragen oder Beobachtungskategorien verständlich und angemessen?
- Skalenniveau: Welche mathematischen Operationen sind für die Daten zulässig?
- Reaktivität: Verändert die Messung das Verhalten der untersuchten Personen?
- Validität: Erfasst das Instrument tatsächlich das gemeinte Konstrukt?
Forschungsdesigns
Querschnitt und Längsschnitt
Eine Querschnittstudie erhebt Daten zu einem bestimmten Zeitpunkt oder in einem kurzen Zeitraum. Sie eignet sich zur Beschreibung von Zuständen und Gruppenunterschieden. Entwicklungsverläufe lassen sich daraus nur eingeschränkt ableiten.
Eine Längsschnittstudie untersucht dieselben oder vergleichbare Personen zu mehreren Zeitpunkten. Dadurch können Veränderungen, Übergänge und zeitliche Reihenfolgen analysiert werden. Herausforderungen sind Ausfälle von Teilnehmenden, wiederholungsbedingte Messeffekte und Veränderungen der Instrumente oder Kontexte.
Das Nationale Bildungspanel ist ein Beispiel für eine groß angelegte Längsschnittinfrastruktur. Es untersucht Kompetenzentwicklung, Bildungsprozesse, Bildungsentscheidungen und Erträge von Bildung über verschiedene Lebensphasen.
Experiment und Quasi-Experiment
In einem Experiment wird eine unabhängige Variable gezielt verändert. Teilnehmende werden nach Möglichkeit zufällig Bedingungen zugewiesen. Die Randomisierung soll bekannte und unbekannte Einflussfaktoren im Mittel ausgleichen. Unterschiede nach der Intervention können dann eher kausal interpretiert werden.
In pädagogischen Feldern ist vollständige Randomisierung oft nicht möglich. Schulen, Klassen oder Kurse bestehen bereits, Maßnahmen werden politisch eingeführt oder ethische Gründe begrenzen die Zuweisung. Quasi-experimentelle Designs nutzen dann Vergleichsgruppen, Vorher-Nachher-Messungen, Matching, Regressions-Diskontinuitätsdesigns oder natürliche Experimente. Kausale Aussagen bleiben an zusätzliche Annahmen gebunden.
Evaluation und Design-Based Research
Evaluation beurteilt Konzeption, Umsetzung, Wirkungen und Nebenwirkungen pädagogischer Programme. Eine Prozessevaluation fragt, wie eine Maßnahme realisiert wurde. Eine Ergebnisevaluation untersucht, welche Veränderungen beobachtet werden. Eine ökonomische Evaluation kann Aufwand und Nutzen vergleichen.
Design-Based Research verbindet Entwicklung und Forschung. Pädagogische Interventionen werden theoriegeleitet entworfen, in realen Kontexten erprobt, analysiert und iterativ verbessert. Ziel ist sowohl ein praxistaugliches Design als auch ein theoretischer Erkenntnisgewinn.
Large-Scale Assessment
Large-Scale-Assessments untersuchen Kompetenzen großer Stichproben. Sie dienen vor allem Aussagen über Populationen und Bildungssysteme. Einzelne Personen beantworten häufig nur einen Teil aller Aufgaben. Statistische Modelle verbinden die Aufgabenblöcke zu Schätzungen auf Gruppenebene.
PISA untersucht Kompetenzen von Jugendlichen in Lesen, Mathematik und Naturwissenschaften. TIMSS betrachtet Mathematik und Naturwissenschaften, IGLU die Lesekompetenz in der Grundschule. Nationale Studien wie der IQB-Bildungstrend prüfen das Erreichen von Bildungsstandards.
Ergebnisse solcher Studien dürfen nicht als einfache Rangliste der Qualität einzelner Schulen oder Lehrkräfte missverstanden werden. Unterschiede können mit sozialer Zusammensetzung, sprachlichen Voraussetzungen, Selektionsprozessen, Curricula, Ressourcen und vielen weiteren Faktoren zusammenhängen.
Stichprobe und Datenerhebung
Grundgesamtheit und Stichprobe
Die Grundgesamtheit umfasst alle Einheiten, über die eine Studie Aussagen treffen möchte. Eine Stichprobe ist die tatsächlich untersuchte Teilmenge. Für verallgemeinerbare Aussagen muss der Auswahlprozess zur Forschungsfrage passen.
Bei einer einfachen Zufallsstichprobe hat jedes Element eine bekannte Auswahlchance. Bei geschichteten Stichproben wird die Grundgesamtheit zunächst in relevante Gruppen unterteilt. Bei Klumpenstichproben werden zum Beispiel ganze Klassen oder Schulen ausgewählt. In qualitativen Studien erfolgt die Auswahl häufig gezielt nach theoretischer Relevanz und erwarteter Informationsvielfalt.
Repräsentativität ist keine Eigenschaft, die allein von der Größe einer Stichprobe abhängt. Entscheidend sind Auswahlverfahren, Teilnahmebereitschaft, Ausfälle, Gewichtung und die genaue Zielpopulation.
Erhebungsmethoden
In der empirischen Bildungsforschung werden verschiedene Datenquellen kombiniert:
- Testverfahren: standardisierte Aufgaben zur Erfassung von Wissen, Fähigkeiten oder Kompetenzen.
- Fragebogen: strukturierte Selbst- oder Fremdauskünfte zu Einstellungen, Erfahrungen und Verhalten.
- Interview: offene oder leitfadengestützte Gespräche zur Rekonstruktion von Sichtweisen und Deutungen.
- Beobachtung: systematische Erfassung von Handlungen und Interaktionen.
- Videografie: wiederholt analysierbare Dokumentation komplexer Unterrichtsprozesse.
- Dokumentenanalyse: Untersuchung von Curricula, Schulprogrammen, Lernprodukten oder Protokollen.
- Prozessdaten: digitale Spuren aus Lernplattformen, Apps oder computergestützten Tests.
- Sekundäranalyse: erneute Analyse bereits erhobener Forschungs- oder Verwaltungsdaten.
Die Auswahl richtet sich nicht danach, welche Methode modern erscheint, sondern danach, welche Daten zur Forschungsfrage passen.
Messfehler und Verzerrungen
Messungen sind nie vollkommen. Zufällige Messfehler verringern die Präzision. Systematische Verzerrungen können Ergebnisse in eine bestimmte Richtung verschieben. Beispiele sind sozial erwünschte Antworten, unklare Fragen, Interviewereffekte, selektive Teilnahme, Erinnerungslücken oder kulturell unpassende Testaufgaben.
Ein Pretest prüft Instrumente vor der Hauptstudie. Kognitive Interviews können zeigen, wie Befragte Fragen verstehen. Beobachtungsschulungen und Kodierregeln erhöhen die Vergleichbarkeit. Dokumentierte Ausfallanalysen helfen, mögliche Selektionsverzerrungen zu beurteilen.
Quantitative Forschung
Merkmale quantitativer Forschung
Quantitative Forschung bildet Merkmale in standardisierter Form ab und analysiert sie mit statistischen Verfahren. Sie eignet sich besonders für Häufigkeiten, Gruppenvergleiche, Zusammenhänge, Vorhersagen und die Prüfung spezifizierter Hypothesen.
Quantitative Daten können nominal, ordinal, intervall- oder verhältnisskaliert sein. Das Skalenniveau beeinflusst, welche Kennwerte und statistischen Modelle sinnvoll sind.
Deskriptive Statistik
Die Deskriptive Statistik beschreibt Daten. Häufig verwendete Kennwerte sind Mittelwert, Median, Modus, Varianz und Standardabweichung. Tabellen und Diagramme zeigen Verteilungen, Ausreißer und Gruppenunterschiede.
Ein Mittelwert allein kann irreführend sein. Zwei Gruppen können denselben Mittelwert, aber sehr unterschiedliche Streuungen haben. Deshalb sollten Lage, Streuung, Verteilung und Fallzahl gemeinsam betrachtet werden.
Korrelation, Regression und Kausalität
Eine Korrelation beschreibt, wie stark zwei Merkmale gemeinsam variieren. Der Korrelationskoeffizient zeigt Richtung und Stärke eines linearen Zusammenhangs. Ein Zusammenhang beweist jedoch keine Ursache.
Drei Gründe verhindern häufig eine unmittelbare Kausaldeutung:
- Drittvariable: Ein weiteres Merkmal beeinflusst beide untersuchten Variablen.
- Umgekehrte Kausalität: Die vermutete Wirkung beeinflusst möglicherweise die vermeintliche Ursache.
- Selektion: Personen gelangen nicht zufällig in Gruppen oder Bildungsangebote.
Eine Regressionsanalyse kann mehrere Einflussgrößen gleichzeitig berücksichtigen. Sie beseitigt jedoch nicht automatisch unbeobachtete Verzerrungen. Kausale Schlussfolgerungen benötigen ein geeignetes Design, plausible Annahmen und Sensitivitätsprüfungen.
Inferenzstatistik, Effektstärke und Unsicherheit
Die Inferenzstatistik nutzt Stichprobendaten, um Aussagen über eine Population zu prüfen oder zu schätzen. Ein Konfidenzintervall zeigt einen Bereich plausibler Werte unter den Annahmen des Modells. Ein p-Wert ist nicht die Wahrscheinlichkeit, dass eine Hypothese wahr ist.
Statistische Signifikanz sagt wenig über pädagogische Bedeutsamkeit aus. Bei großen Stichproben können sehr kleine Unterschiede signifikant werden. Effektstärken beschreiben die Größe eines Unterschieds oder Zusammenhangs. Ihre Interpretation muss den Kontext, die Messskala, Kosten, Nebenwirkungen und Vergleichswerte berücksichtigen.
Mehrebenenstruktur und psychometrische Modelle
Bildungsdaten sind häufig hierarchisch: Lernende befinden sich in Klassen, Klassen in Schulen und Schulen in Regionen. Beobachtungen innerhalb derselben Gruppe ähneln sich oft. Mehrebenenmodelle berücksichtigen diese Abhängigkeiten und trennen Varianzanteile verschiedener Ebenen.
Bei Kompetenztests werden häufig Modelle der Item-Response-Theorie verwendet. Sie beschreiben die Beziehung zwischen latenter Fähigkeit und Antwortwahrscheinlichkeit. Dadurch können Aufgaben unterschiedlicher Schwierigkeit auf einer gemeinsamen Skala eingeordnet werden. Modellannahmen, Aufgabenpassung und Vergleichbarkeit müssen empirisch geprüft werden.
Qualitative Forschung
Erkenntnisinteresse qualitativer Forschung
Qualitative Forschung untersucht Bedeutungen, Erfahrungen, Deutungsmuster, Interaktionen und soziale Prozesse. Sie fragt nicht nur, wie häufig etwas vorkommt, sondern wie Beteiligte Situationen verstehen und wie soziale Wirklichkeit hergestellt wird.
Qualitative Forschung ist besonders geeignet, wenn ein Gegenstand wenig erschlossen ist, komplexe Prozesse rekonstruiert werden sollen oder die Perspektiven der Beteiligten im Mittelpunkt stehen.
Interviews und Gruppendiskussionen
Ein Leitfadeninterview verbindet vorbereitete Themen mit Offenheit für unerwartete Aspekte. Fragen sollten verständlich, nicht suggestiv und erzählgenerierend formuliert sein. Nachfragen vertiefen Aussagen, ohne den Gesprächsverlauf unnötig zu lenken.
Gruppendiskussionen ermöglichen die Analyse gemeinsamer Orientierungen, Aushandlungen und Widersprüche. Die Gruppendynamik ist dabei nicht nur Störfaktor, sondern Teil des Forschungsgegenstands.
Beobachtung, Ethnografie und Fallstudie
Teilnehmende Beobachtung untersucht Handlungen in ihrem sozialen Kontext. Forschende müssen dokumentieren, welche Rolle sie im Feld einnehmen und wie ihre Anwesenheit das Geschehen beeinflussen kann.
Ethnografie verbindet längere Feldaufenthalte, Beobachtungen, Gespräche und Dokumente. Eine Fallstudie analysiert einen begrenzten Fall intensiv, beispielsweise eine Schule, ein Reformprojekt oder einen Bildungsübergang. Ziel ist häufig eine kontextreiche Erklärung, nicht statistische Repräsentativität.
Qualitative Auswertung
Bei der qualitativen Inhaltsanalyse werden Texte oder andere Materialien regelgeleitet kategorisiert. Kategorien können theoriegeleitet, materialgeleitet oder in einer Kombination entwickelt werden. Andere Verfahren sind die Grounded Theory, dokumentarische Methode, Diskursanalyse, Konversationsanalyse oder sequenzanalytische Zugänge.
Wesentliche Arbeitsschritte sind Transkription, Kodierung, Kategorienbildung, Fallvergleich, Interpretation und Dokumentation. Software kann die Organisation unterstützen, übernimmt aber nicht die theoretische Interpretation.
Qualität qualitativer Forschung
Qualitative Studien werden nicht einfach mit denselben Maßstäben wie standardisierte Tests bewertet. Häufig diskutierte Kriterien sind:
- Transparenz: Der Forschungsprozess und zentrale Entscheidungen sind nachvollziehbar dokumentiert.
- Reflexivität: Die Rolle, Vorannahmen und möglichen Einflüsse der Forschenden werden berücksichtigt.
- Intersubjektivität: Interpretationen werden argumentativ begründet und im Team oder durch Rückfragen geprüft.
- Gegenstandsangemessenheit: Methode und Material passen zur Forschungsfrage.
- Sättigung: Zusätzliche Fälle liefern für die entwickelte Analyse keine wesentlichen neuen Kategorien.
- Kontrastierung: Abweichende und widersprüchliche Fälle werden gezielt einbezogen.
Die konkrete Gewichtung hängt vom Forschungsansatz ab. Qualitätskriterien dürfen nicht als mechanische Checkliste verwendet werden.
Mixed Methods und Triangulation
Mixed Methods verbindet qualitative und quantitative Verfahren innerhalb eines Forschungsprojekts. Die Verbindung muss durch die Forschungsfrage begründet sein. Eine Studie kann zunächst Interviews nutzen, um ein neues Konstrukt zu erschließen, und anschließend einen Fragebogen entwickeln. Sie kann auch quantitative Ergebnisse durch qualitative Fallanalysen vertiefen.
Triangulation bezeichnet die Betrachtung eines Gegenstands aus unterschiedlichen Perspektiven. Kombiniert werden können Datenquellen, Methoden, Theorien oder Forschende. Unterschiedliche Ergebnisse sind nicht automatisch ein Fehler. Sie können darauf hinweisen, dass Methoden verschiedene Aspekte erfassen oder dass das Phänomen kontextabhängig ist.
Ein Mixed-Methods-Projekt benötigt eine Integrationsstrategie. Ergebnisse werden nicht erst am Ende nebeneinandergestellt, sondern bereits bei Fragestellung, Stichprobenplanung, Erhebung, Analyse und Interpretation aufeinander bezogen.
Gütekriterien und Forschungsqualität
Objektivität, Reliabilität und Validität
Objektivität bedeutet, dass Durchführung, Auswertung und Interpretation möglichst wenig von einzelnen Personen abhängen. Standardisierte Anleitungen und klare Auswertungsregeln erhöhen die Objektivität.
Reliabilität bezeichnet die Zuverlässigkeit oder Präzision einer Messung. Wiederholungsmessungen, Parallelformen, interne Konsistenz oder Übereinstimmung zwischen Kodierenden können Hinweise liefern.
Validität bezeichnet die Gültigkeit der Interpretation. Ein Test kann sehr zuverlässig messen und dennoch das falsche Konstrukt erfassen. Validität wird durch ein Netz theoretischer und empirischer Argumente gestützt, etwa durch Inhaltsbezug, Beziehungen zu anderen Variablen, interne Struktur und Konsequenzen der Nutzung.
Interne und externe Validität
Interne Validität betrifft die Frage, ob ein beobachteter Effekt tatsächlich auf die untersuchte Ursache zurückgeführt werden kann. Bedrohungen sind zum Beispiel Reifung, historische Ereignisse, unterschiedliche Ausgangswerte, selektive Ausfälle oder Veränderungen der Messung.
Externe Validität betrifft die Übertragbarkeit auf andere Personen, Situationen, Zeitpunkte oder Institutionen. Ein stark kontrolliertes Experiment kann intern valide sein, aber nur begrenzt zeigen, wie eine Maßnahme im Alltag funktioniert. Feldstudien können alltagsnäher sein, erlauben jedoch häufig weniger Kontrolle.
Replikation, Präregistrierung und Open Science
Replikation prüft, ob ein Befund unter ähnlichen oder veränderten Bedingungen erneut auftritt. Präregistrierung dokumentiert Forschungsfragen, Hypothesen und Analysepläne vor der Auswertung. Dadurch wird zwischen bestätigenden und explorativen Analysen deutlicher unterschieden.
Open Science fördert transparente Materialien, Auswertungscodes, Publikationen und soweit rechtlich sowie ethisch möglich Forschungsdaten. Offenheit ist kein Selbstzweck. Bei sensiblen Bildungsdaten können kontrollierte Zugänge, sichere Forschungsdatenzentren oder anonymisierte Datensätze notwendig sein.
Zentrale Studien und Forschungsinfrastrukturen
PISA, TIMSS und IGLU
Internationale Vergleichsstudien untersuchen Kompetenzen und Lernbedingungen in verschiedenen Bildungssystemen. Sie verwenden standardisierte Aufgaben, Stichprobenpläne, Übersetzungsverfahren und statistische Skalierungsmodelle.
- PISA: untersucht alltags- und anwendungsbezogene Kompetenzen Jugendlicher in Lesen, Mathematik und Naturwissenschaften.
- TIMSS: untersucht mathematische und naturwissenschaftliche Leistungen in ausgewählten Jahrgangsstufen.
- IGLU: untersucht die Lesekompetenz von Grundschulkindern.
- PIAAC: untersucht grundlegende Kompetenzen Erwachsener.
Vergleiche müssen Unterschiede in Sprache, Curriculum, Altersstruktur, Schulbesuch, Stichprobenausschlüssen und sozialem Kontext berücksichtigen. Rangplätze allein liefern keine ausreichende Erklärung.
IQB-Bildungstrend und Bildungsstandards
Das Institut zur Qualitätsentwicklung im Bildungswesen entwickelt Kompetenzstufenmodelle und untersucht, in welchem Umfang Bildungsstandards erreicht werden. Bildungstrends erlauben Vergleiche über Zeit und zwischen Ländern der Bundesrepublik Deutschland.
Kompetenzstufen sind interpretierte Bereiche auf einer Leistungsskala. Sie dürfen nicht mit unveränderlichen Eigenschaften von Lernenden gleichgesetzt werden. Ergebnisse beschreiben Leistungen unter bestimmten Testbedingungen und zu einem bestimmten Zeitpunkt.
Nationales Bildungspanel
Das NEPS erhebt Längsschnittdaten zu Kompetenzentwicklungen, Bildungsprozessen, Entscheidungen und Bildungserträgen über verschiedene Lebensphasen. Es verbindet Informationen von Teilnehmenden mit Kontextangaben aus Familie, Bildungseinrichtungen und Erwerbsleben.
Längsschnittdaten ermöglichen die Analyse von Übergängen und Entwicklungsverläufen. Dennoch bleiben kausale Aussagen anspruchsvoll, weil viele Einflussfaktoren nicht experimentell kontrolliert werden können.
Forschungsinstitute und Fachgesellschaften
Wichtige Akteure im deutschsprachigen Raum sind unter anderem das DIPF – Leibniz-Institut für Bildungsforschung und Bildungsinformation, das Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik, das Leibniz-Institut für Bildungsverläufe, das Hector-Institut für Empirische Bildungsforschung, das Institut zur Qualitätsentwicklung im Bildungswesen und die Gesellschaft für Empirische Bildungsforschung.
Bildungsgerechtigkeit und Kontext
Bildungsergebnisse entstehen nicht allein durch individuelle Anstrengung. Soziale Herkunft, Armut, Sprache, Migrationserfahrung, Behinderung, Geschlecht, regionale Infrastruktur, institutionelle Übergänge und gesellschaftliche Diskriminierung können Bildungswege beeinflussen.
Empirische Bildungsforschung untersucht solche Zusammenhänge mit Leistungsdaten, Befragungen, Längsschnittanalysen, qualitativen Studien und institutionellen Vergleichen. Dabei besteht die Gefahr, soziale Gruppen zu vereinfachen oder Defizite zu individualisieren. Kategorien müssen theoretisch begründet, differenziert und respektvoll verwendet werden.
Kontextmerkmale dürfen nicht als unveränderliche Ursachen interpretiert werden. Ein Zusammenhang zwischen sozialer Herkunft und Bildungserfolg verweist auf gesellschaftliche und institutionelle Mechanismen, nicht auf eine geringere Bildungsfähigkeit bestimmter Gruppen.
Forschungsethik, Datenschutz und Forschungsdaten
Informierte Einwilligung und Schutz der Beteiligten
Forschung mit Menschen erfordert besondere Verantwortung. Teilnehmende müssen verständlich über Ziel, Ablauf, Risiken, Datenverwendung, Freiwilligkeit und Widerrufsmöglichkeiten informiert werden. Bei Minderjährigen sind zusätzlich altersangemessene Informationen und je nach rechtlichem sowie institutionellem Rahmen Einwilligungen der Sorgeberechtigten erforderlich.
Ein formales Einwilligungsblatt allein genügt nicht. Es muss geprüft werden, ob Teilnehmende die Informationen verstehen und ohne unangemessenen Druck entscheiden können. Abhängigkeiten in Schule, Hochschule oder Ausbildung sind besonders zu beachten.
Datenschutz und Anonymisierung
Personenbezogene Daten dürfen nur für festgelegte Zwecke und mit geeigneter Rechtsgrundlage verarbeitet werden. Datenminimierung bedeutet, nur notwendige Informationen zu erheben. Pseudonymisierung ersetzt direkte Identifikatoren durch Codes. Anonymisierung soll eine Zuordnung zu Personen dauerhaft verhindern.
Bildungsdaten sind häufig besonders sensibel, weil Leistungsstände, Förderbedarfe, soziale Herkunft oder Verhaltensbeobachtungen betroffen sein können. Kleine Gruppen und detaillierte Kontextangaben erhöhen das Risiko indirekter Identifikation.
Ein Forschungsdatenmanagementplan beschreibt Erhebung, Speicherung, Zugriffsrechte, Sicherung, Dokumentation, Aufbewahrung, Archivierung und Löschung von Daten.
Gute wissenschaftliche Praxis
Gute wissenschaftliche Praxis verlangt Redlichkeit, nachvollziehbare Dokumentation, transparente Autorenschaft, sorgfältigen Umgang mit Daten und einen offenen Umgang mit Fehlern. Daten dürfen nicht erfunden, verfälscht oder selektiv so berichtet werden, dass ein irreführender Eindruck entsteht.
Interessenkonflikte, Finanzierungsquellen und Abweichungen vom Analyseplan sollen offengelegt werden. Auch negative oder uneindeutige Ergebnisse sind wissenschaftlich relevant.
Forschungstransfer und evidenzinformierte Pädagogik
Evidenzbasierte Bildung oder vorsichtiger evidenzinformierte Pädagogik zielt darauf, pädagogische Entscheidungen auf bestmögliche Forschungsergebnisse zu beziehen. Forschung liefert dabei keine automatisch gültigen Handlungsrezepte.
Für den Transfer müssen mindestens folgende Fragen geklärt werden:
- Evidenz: Wie belastbar, konsistent und relevant sind die Befunde?
- Kontext: Passt die untersuchte Situation zur eigenen Einrichtung und Zielgruppe?
- Implementation: Kann die Maßnahme in ausreichender Qualität umgesetzt werden?
- Professionalität: Wie lässt sich das Wissen mit pädagogischer Erfahrung verbinden?
- Partizipation: Wie werden Lernende, Familien und Fachkräfte beteiligt?
- Ethik: Welche Werte, Rechte und möglichen Nebenwirkungen sind zu berücksichtigen?
- Evaluation: Wie wird geprüft, ob die Umsetzung im eigenen Kontext gelingt?
Wissenstransfer ist keine Einbahnstraße. Praxisakteurinnen und Praxisakteure bringen Kontextwissen, Problemwahrnehmungen und Erfahrungen ein. Ko-konstruktive Forschung entwickelt Fragen, Maßnahmen und Interpretationen gemeinsam.
Grenzen und typische Fehlschlüsse
Messbarkeit ist nicht Bedeutung
Nicht alles pädagogisch Bedeutsame lässt sich leicht standardisieren. Persönliche Entwicklung, Anerkennung, demokratische Erfahrung oder ästhetische Bildung können empirisch untersucht werden, dürfen aber nicht auf einen einzelnen Kennwert reduziert werden.
Korrelation ist nicht Kausalität
Ein statistischer Zusammenhang kann durch Drittvariablen, Selektion, umgekehrte Wirkungsrichtung oder Zufall entstehen. Kausale Sprache ist nur gerechtfertigt, wenn Design und Annahmen sie tragen.
Signifikanz ist nicht Relevanz
Ein signifikantes Ergebnis kann praktisch unbedeutend sein. Ein nicht signifikantes Ergebnis beweist nicht, dass kein Effekt existiert. Fallzahl, Messpräzision, Effektstärke und Unsicherheitsintervall müssen gemeinsam interpretiert werden.
Durchschnittseffekte gelten nicht für alle
Ein mittlerer Effekt kann Unterschiede zwischen Personen, Gruppen oder Kontexten verdecken. Heterogene Wirkungen und unbeabsichtigte Nebenwirkungen sind für pädagogische Entscheidungen zentral.
Rankings erklären keine Ursachen
Ranglisten verdichten komplexe Daten, erzeugen aber leicht Scheingenauigkeit. Kleine Unterschiede können innerhalb statistischer Unsicherheit liegen. Ursachen benötigen zusätzliche Analysen und theoretische Erklärungen.
Daten sind nicht theoriefrei
Schon die Auswahl von Variablen, Kategorien und Messinstrumenten enthält theoretische und normative Entscheidungen. Transparenz über diese Entscheidungen ist Teil wissenschaftlicher Qualität.
Beispiel eines Forschungsplans
Das folgende Beispiel ist ein hypothetisches Studienkonzept.
Ausgangsproblem: Studierende eines pädagogischen Einführungsmoduls nutzen Rückmeldungen zu Hausarbeiten nur selten für Überarbeitungen.
Forschungsfrage: Verbessert ein strukturiertes Peer-Feedback mit Kriterienraster die Qualität überarbeiteter Texte im Vergleich zu einer üblichen Rückmeldung?
Theoretischer Bezug: Modelle des selbstregulierten Lernens und der formativen Rückmeldung legen nahe, dass verständliche Kriterien, aktive Verarbeitung und konkrete Überarbeitungsschritte lernwirksam sein können.
Design: Zwei Parallelseminare werden verglichen. Beide schreiben dieselbe Aufgabenart. Ein Seminar nutzt ein strukturiertes Peer-Feedback, das andere die übliche Rückmeldepraxis. Vorwissen, Ausgangsqualität und Überarbeitung werden erfasst.
Daten: Texte werden mit einem anonymisierten Bewertungsraster beurteilt. Ergänzende Interviews untersuchen, wie Studierende das Feedback verstehen und nutzen.
Risiken: Die Seminare könnten sich bereits vor der Intervention unterscheiden. Lehrpersonen könnten unterschiedliche Schwerpunkte setzen. Bewertende Personen könnten die Gruppenzugehörigkeit erkennen.
Verbesserungen: Zufällige Zuweisung, verblindete Bewertung, Schulung der Rater, Präregistrierung, Prozessdaten und dokumentierte Umsetzungstreue würden die Aussagekraft erhöhen.
Interpretation: Selbst bei einem positiven Effekt müsste geprüft werden, ob dieser in anderen Fächern, bei anderen Aufgaben und unter Alltagsbedingungen bestehen bleibt.
Zusammenfassung
Empirische Bildungsforschung verbindet pädagogische Fragen mit systematischer Datenerhebung und theoriegeleiteter Analyse. Ihre Aussagekraft hängt nicht allein von komplexer Statistik ab, sondern von klaren Begriffen, passenden Designs, hochwertigen Instrumenten, nachvollziehbaren Auswertungen und verantwortlicher Interpretation.
Quantitative Forschung unterstützt Aussagen über Verteilungen, Unterschiede und statistische Zusammenhänge. Qualitative Forschung rekonstruiert Erfahrungen, Bedeutungen und Prozesse. Mixed Methods kann beide Perspektiven integrieren. Kausale Aussagen benötigen besonders starke Designs und transparente Annahmen.
Für die Pädagogik ist entscheidend, empirische Evidenz weder zu überschätzen noch zu ignorieren. Professionelles Handeln verbindet Forschung, Theorie, Erfahrung, Kontextwissen, Partizipation und ethische Reflexion.
Interaktive Aufgaben
Quiz: Teste Dein Wissen
Was kennzeichnet empirische Bildungsforschung? (Sie untersucht Bildungsfragen systematisch anhand von Daten) (!Sie ersetzt pädagogische Theorien vollständig) (!Sie beschränkt sich auf Schulnoten) (!Sie verwendet ausschließlich Experimente)
Was bedeutet Operationalisierung? (Ein theoretisches Konstrukt wird in beobachtbare Indikatoren übersetzt) (!Eine Stichprobe wird zufällig vergrößert) (!Ein Ergebnis wird veröffentlicht) (!Eine Theorie wird ohne Daten bestätigt)
Welches Design untersucht dieselben Personen zu mehreren Zeitpunkten? (Eine Längsschnittstudie) (!Eine Querschnittstudie) (!Eine Dokumentenanalyse) (!Eine Momentaufnahme)
Welche Aussage über Korrelationen ist richtig? (Eine Korrelation beschreibt einen statistischen Zusammenhang) (!Eine Korrelation beweist immer eine Ursache) (!Eine Korrelation schließt Drittvariablen aus) (!Eine Korrelation ist nur bei Experimenten möglich)
Was bezeichnet Reliabilität? (Die Zuverlässigkeit und Präzision einer Messung) (!Die moralische Zulässigkeit einer Studie) (!Die Größe einer Stichprobe) (!Die praktische Bedeutung eines Effekts)
Wozu dient Randomisierung in einem Experiment? (Sie soll Einflussfaktoren zwischen Bedingungen im Mittel ausgleichen) (!Sie garantiert eine repräsentative Weltstichprobe) (!Sie ersetzt die Messung der abhängigen Variable) (!Sie verhindert jeden Studienausfall)
Was ist ein typisches Ziel qualitativer Forschung? (Deutungen und soziale Prozesse zu rekonstruieren) (!Nur Mittelwerte zu berechnen) (!Ausschließlich Populationen zu ranken) (!Alle Daten in Testwerte umzuwandeln)
Was bedeutet Mixed Methods? (Qualitative und quantitative Verfahren werden begründet integriert) (!Mehrere Fragebögen werden ohne gemeinsame Frage eingesetzt) (!Ein Experiment wird zweimal wiederholt) (!Nur statistische Methoden werden kombiniert)
Welche Aussage zu statistischer Signifikanz ist richtig? (Sie muss zusammen mit Effektgröße und Unsicherheit interpretiert werden) (!Sie beweist automatisch pädagogische Relevanz) (!Sie zeigt die Wahrscheinlichkeit einer wahren Theorie) (!Sie macht eine Theorie unangreifbar)
Was gehört zu einer informierten Einwilligung? (Verständliche Information über Ablauf Datenverwendung und Freiwilligkeit) (!Eine verpflichtende Teilnahme ohne Rückfrage) (!Die Veröffentlichung aller Personendaten) (!Der Verzicht auf Datenschutz)
Memory
| Operationalisierung | Übersetzung eines Konstrukts in Indikatoren |
| Reliabilität | Zuverlässigkeit einer Messung |
| Validität | Gültigkeit einer Interpretation |
| Längsschnitt | Wiederholte Erhebung über die Zeit |
| Randomisierung | Zufällige Zuweisung zu Bedingungen |
| Triangulation | Verbindung verschiedener Perspektiven |
| Effektstärke | Größe eines Unterschieds oder Zusammenhangs |
| Reflexivität | Prüfung der eigenen Forschungsrolle |
Drag and Drop
| Ordne die richtigen Begriffe zu. | Thema |
|---|---|
| Querschnittstudie | Erhebung zu einem Zeitpunkt |
| Längsschnittstudie | Wiederholte Erhebung über mehrere Zeitpunkte |
| Experiment | Gezielte Variation mit möglichst zufälliger Zuweisung |
| Fallstudie | Intensive Analyse eines begrenzten Falls |
| Mixed Methods | Integration qualitativer und quantitativer Verfahren |
Kreuzworträtsel
| Validität | Wie heißt die Gültigkeit einer Messinterpretation? |
| Stichprobe | Wie heißt die untersuchte Teilmenge einer Grundgesamtheit? |
| Hypothese | Wie heißt eine empirisch prüfbare Annahme? |
| Kausalität | Wie heißt eine Ursache-Wirkungs-Beziehung? |
| Triangulation | Wie heißt die Verbindung mehrerer Forschungsperspektiven? |
| Regression | Wie heißt ein Verfahren zur Analyse statistischer Beziehungen? |
LearningApps
Lückentext
Offene Aufgaben
Leicht
- Forschungsfrage formulieren: Wähle ein pädagogisches Alltagsthema und formuliere dazu je eine beschreibende und eine erklärende Forschungsfrage.
- Begriffe operationalisieren: Entwickle für das Konstrukt Lernmotivation drei mögliche Indikatoren und erläutere, welchen Ausschnitt jeder Indikator erfasst.
- Medienanalyse: Suche in einer Nachricht einen statistischen Bildungsbefund und markiere Aussage, Datenquelle, Vergleichsgruppe und mögliche Unsicherheiten.
- Methodensteckbrief: Gestalte eine übersichtliche Karte zu Interview, Fragebogen, Beobachtung oder Test mit Einsatzgebiet, Stärke und Grenze.
Standard
- Fragebogen entwickeln: Entwirf fünf neutrale Items zur wahrgenommenen Qualität von Feedback und führe mit zwei Personen einen kognitiven Pretest durch.
- Interviewprojekt: Erstelle einen kurzen Leitfaden zum Thema Lernstrategien, führe ein Probeinterview und reflektiere Deine Gesprächsführung.
- Studiendesign vergleichen: Plane dieselbe Forschungsfrage einmal als Querschnittstudie und einmal als Längsschnittstudie. Vergleiche Aufwand und Aussagekraft.
- Daten visualisieren: Erzeuge mit selbst erhobenen anonymen Beispieldaten ein Diagramm und schreibe eine sachliche Interpretation ohne kausale Übertreibung.
Schwer
- Evaluationskonzept: Entwickle für ein pädagogisches Förderprogramm ein Wirkmodell mit Ressourcen, Aktivitäten, kurzfristigen Ergebnissen und langfristigen Zielen.
- Mixed-Methods-Studie: Plane eine Untersuchung, in der quantitative und qualitative Daten nicht nur gesammelt, sondern systematisch integriert werden.
- Kritische Replikation: Wähle einen veröffentlichten Bildungsbefund und entwickle einen Plan für eine Replikation in einem anderen Kontext.
- Forschungsethik: Erstelle ein Datenschutz- und Einwilligungskonzept für eine videobasierte Unterrichtsstudie mit Minderjährigen.
|
|
Lernkontrolle
- Kausale Interpretation: Eine Studie findet einen positiven Zusammenhang zwischen freiwilliger Nachhilfe und Prüfungsleistung. Entwickle mindestens drei alternative Erklärungen und entwirf ein stärkeres Untersuchungsdesign.
- Messqualität: Ein Fragebogen zur Lernmotivation besteht nur aus dem Item „Ich lerne gern“. Beurteile seine Reliabilität und Validität und schlage eine verbesserte Operationalisierung vor.
- Transferproblem: Eine Intervention wirkt in einer kleinen Universitätsstudie. Analysiere, welche Informationen fehlen, bevor sie in allen Schulen eines Bundeslandes eingeführt wird.
- Methodenwahl: Eine Hochschule möchte verstehen, warum Studierende ein Beratungsangebot abbrechen. Begründe eine passende qualitative, quantitative oder kombinierte Forschungsstrategie.
- Ungleichheit analysieren: Ein Bericht zeigt Leistungsunterschiede zwischen sozialen Gruppen. Erkläre, warum daraus keine Aussage über angeborene Fähigkeiten abgeleitet werden darf.
- Effektstärke bewerten: Eine sehr große Stichprobe zeigt einen statistisch signifikanten, aber sehr kleinen Effekt. Entwickle Kriterien für seine pädagogische Relevanz.
- Widersprüchliche Befunde: Interviews bewerten eine Maßnahme positiv, während Leistungsdaten keine Verbesserung zeigen. Entwickle mindestens drei plausible Deutungen und weitere Analyseschritte.
- Forschungsintegrität: In einer Studie wurden nur jene Analysen berichtet, die signifikante Ergebnisse ergaben. Beurteile das Vorgehen und entwickle Maßnahmen für transparentere Forschung.
Lernnachweis
Für einen Lernnachweis zu diesem Thema sind wichtig:
- Fachbegriffe: zentrale Begriffe wie Operationalisierung, Stichprobe, Reliabilität, Validität, Effektstärke und Triangulation korrekt verwenden.
- Forschungslogik: den Weg von einem pädagogischen Problem über Theorie und Forschungsfrage bis zur Interpretation nachvollziehbar darstellen.
- Methodenkompetenz: Forschungsdesign und Erhebungsmethode passend zu einer Frage auswählen und begründen.
- Datenkompetenz: Tabellen, Diagramme, Zusammenhänge und Unsicherheiten sachgerecht interpretieren.
- Kritische Urteilskompetenz: Korrelation, Kausalität, Signifikanz und praktische Relevanz unterscheiden.
- Qualitätsprüfung: Stärken, Grenzen und mögliche Verzerrungen einer Studie systematisch beurteilen.
- Forschungsethik: Datenschutz, Einwilligung, Schutzinteressen und wissenschaftliche Integrität berücksichtigen.
- Transferleistung: Befunde auf einen neuen pädagogischen Kontext beziehen, ohne ihre Reichweite zu überschätzen.
- Wissenschaftskommunikation: Ergebnisse verständlich, differenziert und ohne irreführende Vereinfachung darstellen.
- Eigenständiges Forschungsprodukt: einen begründeten Forschungsplan, eine Methodenkritik oder ein kleines empirisches Projekt vorlegen.
OERs zum Thema
Freie und wissenschaftliche Vertiefung
- OECD PISA: Informationen zu internationalen Kompetenzstudien und deren methodischer Anlage.
- Institut zur Qualitätsentwicklung im Bildungswesen: Bildungsstandards, Kompetenzmodelle, Testaufgaben und Bildungstrends.
- Nationales Bildungspanel: Informationen zu Längsschnittdaten, Kompetenzentwicklung und Datenzugang.
- DFG-Kodex: Leitlinien zur Sicherung guter wissenschaftlicher Praxis.
- DIPF: Forschung, Forschungsinfrastrukturen und Bildungsinformation.
- Leibniz-Forschungsnetzwerk Bildungspotenziale: Forschung und Transfer zu Bildung über die Lebensspanne.
- Wikimedia Commons: freie Abbildungen zu Forschung, Bildung und Statistik.
Verknüpfte Lernbereiche
aiMOOC-Projekte
Schulfach+
|
|
aiMOOCs
aiMOOC Projekte
|
|
THE MONKEY DANCE
|
|
|