Replikationskrise - Psychologie
Replikationskrise - Psychologie
Replikationskrise - Psychologie
Einleitung
Die Replikationskrise beschreibt die Beobachtung, dass sich manche veröffentlichte Befunde bei sorgfältiger Wiederholung nicht oder nur schwächer bestätigen. Besonders sichtbar wurde die Debatte in der Psychologie, sie betrifft aber auch andere Wissenschaften.
Eine fehlgeschlagene Replikation bedeutet nicht automatisch, dass die Originalstudie falsch oder betrügerisch war. Sie fordert dazu auf, Unsicherheit, Methoden, Stichproben und theoretische Annahmen genauer zu prüfen.
Du lernst, Befunde kritisch zu bewerten, Ursachen geringer Replizierbarkeit zu erklären und Reformen der Open Science auf konkrete Studien anzuwenden.
Kernbegriffe
| Begriff | Kurz erklärt |
|---|---|
| Replikation | Eine neue Studie prüft dieselbe wissenschaftliche Frage mit neuen Daten. |
| Direkte Replikation | Methoden und Bedingungen werden möglichst genau übernommen. |
| Konzeptuelle Replikation | Dieselbe theoretische Annahme wird mit veränderten Methoden geprüft. |
| Reproduzierbarkeit | Ergebnisse werden mit denselben Daten und Analyseschritten erneut erzeugt. |
| Robustheit | Ein Befund bleibt bei vertretbaren alternativen Analysen bestehen. |
| Effektstärke | Sie beschreibt Größe und Richtung eines Effekts. |
| Statistische Teststärke | Sie gibt an, wie wahrscheinlich ein tatsächlich vorhandener Effekt entdeckt wird. |
Das Reproducibility Project: Psychology
Die Open Science Collaboration wiederholte 100 veröffentlichte psychologische Studien. In den Originalstudien waren 97 Ergebnisse statistisch signifikant; in den Replikationen waren es 36. Die mittlere Effektstärke der Replikationen lag ungefähr bei der Hälfte der ursprünglichen Effektstärke.
Diese Zahlen sind kein Qualitätsurteil über die gesamte Psychologie. Sie zeigen, dass einzelne Studien unsicher sein können und Forschungsergebnisse durch unabhängige Wiederholungen geprüft werden sollten.
Ursachen schwer replizierbarer Befunde
- Geringe statistische Teststärke: Kleine Stichproben übersehen reale Effekte und überschätzen entdeckte Effekte häufig.
- Publikationsbias: Auffällige und statistisch signifikante Ergebnisse werden eher veröffentlicht.
- p-Hacking: Viele Analysewege werden ausprobiert, bis ein gewünschtes Ergebnis entsteht.
- HARKing: Hypothesen werden nach Kenntnis der Daten als vorhergesagt dargestellt.
- Forschungsfreiheitsgrade: Flexible Entscheidungen zu Ausschlüssen, Variablen und Modellen erhöhen Fehlalarmrisiken.
- Stichprobenverzerrung: Einseitige Gruppen begrenzen die Übertragbarkeit.
- Unpräzise Theorie: Vage Vorhersagen erschweren klare Widerlegung und genaue Replikation.
- Anreizsysteme: Neuheit und positive Ergebnisse werden oft stärker belohnt als sorgfältige Wiederholungen.
Was bedeutet eine fehlgeschlagene Replikation?
Eine einzelne Replikation kann ebenfalls fehlerhaft oder unpassend sein. Unterschiede in Population, Kultur, Messung, Durchführung oder statistischer Präzision können Ergebnisse verändern.
Deshalb werden Originalstudie und Replikation gemeinsam betrachtet: Stimmen Richtung und Größe des Effekts überein? Sind die Konfidenzintervalle vereinbar? War die Replikation ausreichend groß und methodisch nah genug? Gibt es mehrere unabhängige Studien?
Wissenschaftliche Stärke entsteht nicht durch eine einzelne perfekte Studie, sondern durch kumulative Evidenz.
Wege aus der Replikationskrise
- Präregistrierung: Hypothesen, Stichprobe und Analyseplan werden vor der Datenerhebung festgehalten.
- Registered Report: Fragestellung und Methode werden vor der Datenerhebung begutachtet; die Publikation hängt nicht vom Ergebnis ab.
- Open Data und Open Materials: Daten, Materialien und Code werden nachvollziehbar geteilt, soweit Datenschutz und Ethik dies erlauben.
- Ausreichende Teststärke: Stichproben werden mit begründeter Fallzahlplanung gewählt.
- Multilab-Studie: Mehrere Forschungsteams prüfen denselben Effekt an verschiedenen Orten.
- Metaanalyse: Mehrere Studien werden systematisch zusammengeführt.
- Replikationen: Bestätigungen und Nichtbestätigungen werden als wissenschaftlicher Beitrag anerkannt.
- Transparenz: Abweichungen vom Plan und explorative Analysen werden offen gekennzeichnet.
Open Science als Kulturwandel
Open Science verbindet Transparenz, Zusammenarbeit und Zugänglichkeit. Sie ersetzt wissenschaftliche Kritik nicht, sondern macht sie besser möglich. Auch offene Forschung bleibt abhängig von guter Theorie, geeigneten Messungen, fairer Begutachtung und verantwortlichem Datenschutz.
Ethische und gesellschaftliche Bedeutung
Psychologische Erkenntnisse beeinflussen Bildung, Therapie, Arbeit und Politik. Unzuverlässige Befunde können Ressourcen fehlleiten oder Menschen schaden. Zugleich kann eine dramatische Krisenrhetorik Vertrauen pauschal untergraben. Verantwortliche Wissenschaftskommunikation erklärt deshalb sowohl Unsicherheiten als auch Fortschritte.
Quellen und Vertiefung
- Open Science Collaboration: Estimating the reproducibility of psychological science
- Center for Open Science: Open Science
- Center for Open Science: Preregistration
- Center for Open Science: Registered Reports
- The replication crisis has led to positive structural change
Interaktive Aufgaben
Quiz: Teste Dein Wissen
Was kennzeichnet eine Replikation? (Eine neue Studie prüft dieselbe wissenschaftliche Frage mit neuen Daten) (!Eine Studie wird nur sprachlich überarbeitet) (!Eine Hypothese wird ohne Datenerhebung bestätigt) (!Ein Ergebnis wird unabhängig von der Methode übernommen)
Wie viele Studien wurden im Reproducibility Project: Psychology erneut untersucht? (100) (!10) (!500) (!1000)
Was beschreibt statistische Teststärke? (Die Wahrscheinlichkeit einen vorhandenen Effekt zu entdecken) (!Die Größe einer wissenschaftlichen Zeitschrift) (!Die Zahl der Forschenden in einem Institut) (!Die Länge eines Fragebogens)
Was ist Publikationsbias? (Signifikante und auffällige Ergebnisse werden eher veröffentlicht) (!Alle Studien werden in zufälliger Reihenfolge veröffentlicht) (!Nur Replikationen werden veröffentlicht) (!Zeitschriften verzichten vollständig auf Begutachtung)
Was bedeutet p-Hacking? (Analysen werden flexibel variiert bis ein gewünschtes Ergebnis entsteht) (!Daten werden grundsätzlich öffentlich archiviert) (!Eine Studie wird mit größerer Stichprobe wiederholt) (!Ein Forschungsplan wird vorab registriert)
Welchen Zweck hat eine Präregistrierung? (Hypothesen und Analyseentscheidungen werden vor der Datenerhebung festgelegt) (!Ergebnisse werden nachträglich geheim gehalten) (!Stichproben werden automatisch repräsentativ) (!Jede Studie erhält automatisch ein signifikantes Ergebnis)
Was ist ein Registered Report? (Ein Publikationsformat mit Begutachtung des Studienplans vor der Datenerhebung) (!Ein Bericht ohne Methode und Daten) (!Eine ausschließlich journalistische Zusammenfassung) (!Eine Studie die nur nach positivem Ergebnis akzeptiert wird)
Wie sollte eine fehlgeschlagene Replikation interpretiert werden? (Als Anlass Originalstudie Replikation und Kontext gemeinsam zu prüfen) (!Als sicherer Beweis für Betrug) (!Als Beweis dass Psychologie keine Wissenschaft ist) (!Als Grund alle früheren Befunde zu verwerfen)
Welchen Nutzen haben offene Daten? (Sie erleichtern Prüfung Nachnutzung und reproduzierbare Analysen) (!Sie ersetzen jede theoretische Begründung) (!Sie garantieren fehlerfreie Messungen) (!Sie machen Datenschutz überflüssig)
Worin unterscheidet sich Reproduzierbarkeit von Replikation? (Reproduzierbarkeit nutzt dieselben Daten Replikation erhebt neue Daten) (!Reproduzierbarkeit benötigt keine Analyse) (!Replikation nutzt immer dieselbe Stichprobe) (!Beide Begriffe bedeuten ausschließlich Veröffentlichung)
Memory
| Replikation | Neue Daten und dieselbe wissenschaftliche Frage |
| Reproduzierbarkeit | Gleiche Daten und gleiche Analyse |
| Präregistrierung | Forschungsplan vor der Datenerhebung |
| Publikationsbias | Positive Ergebnisse werden bevorzugt sichtbar |
| Teststärke | Vorhandenen Effekt mit hoher Wahrscheinlichkeit entdecken |
| Registered Report | Methodenbegutachtung vor der Datenerhebung |
| p-Hacking | Flexible Analysen bis zur Signifikanz |
| Metaanalyse | Systematische Zusammenführung mehrerer Studien |
Drag and Drop
| Ordne die richtigen Begriffe zu. | Thema |
|---|---|
| Direkte Replikation | Methode und Bedingungen möglichst genau wiederholen |
| Konzeptuelle Replikation | Dieselbe Theorie mit verändertem Vorgehen prüfen |
| Reproduzierbarkeit | Ergebnis mit denselben Daten und Analyseschritten erneut erzeugen |
| Robustheitsprüfung | Vertretbare alternative Analysen vergleichen |
| Registered Report | Studienplan vor der Datenerhebung begutachten |
Kreuzworträtsel
| Replikation | Wie heißt die erneute Prüfung einer wissenschaftlichen Frage mit neuen Daten? |
| Teststärke | Wie heißt die Wahrscheinlichkeit einen tatsächlich vorhandenen Effekt zu entdecken? |
| Transparenz | Welches Prinzip macht Methoden Daten und Entscheidungen nachvollziehbar? |
| Stichprobe | Wie heißt die untersuchte Teilgruppe einer Population? |
| Metaanalyse | Wie heißt die statistische Zusammenführung mehrerer Studien? |
| Präregistrierung | Wie heißt das Festhalten des Forschungsplans vor der Datenerhebung? |
LearningApps
Lückentext
Offene Aufgaben
Leicht
- Begriffsnetz: Erstelle eine Mindmap mit Replikation, Reproduzierbarkeit, Teststärke, Publikationsbias und Präregistrierung.
- Medienanalyse: Wähle eine Schlagzeile zu einer psychologischen Studie und markiere, welche Informationen zur Beurteilung der Evidenz fehlen.
- Fehlerdetektiv: Formuliere zu p-Hacking, HARKing und Publikationsbias je ein kurzes Alltagsbeispiel.
- Erklärvideo: Produziere ein 90-sekündiges Video, das den Unterschied zwischen Originalstudie und Replikation erklärt.
Standard
- Studiencheckliste: Entwickle eine Checkliste zur Bewertung einer psychologischen Studie und teste sie an einem Fachartikel.
- Präregistrierung: Entwirf für ein einfaches Konzentrationsexperiment Hypothese, Stichprobe, Ausschlussregeln und Analyseplan.
- Datenvisualisierung: Stelle hypothetische Effektstärken von Originalstudie und drei Replikationen grafisch dar und erläutere die Unterschiede.
- Podcast-Debatte: Diskutiert in Rollen, ob Zeitschriften Replikationen gleichwertig mit neuen Befunden veröffentlichen sollten.
Schwer
- Replikationsdesign: Plane eine direkte Replikation einer psychologischen Studie einschließlich Fallzahlbegründung, Ethik und Auswertungsstrategie.
- Multiversum-Analyse: Entwirf mehrere vertretbare Analysewege für denselben Datensatz und untersuche, welche Entscheidungen Ergebnisse verändern könnten.
- Wissenschaftspolitik: Entwickle ein Reformpaket für eine Universität, das offene Daten, Registered Reports und faire Leistungsbewertung verbindet.
- Metawissenschaft: Vergleiche mindestens drei Replikationsprojekte und beurteile, welche Schlussfolgerungen über die Psychologie zulässig sind.
|
|
Lernkontrolle
- Fallanalyse Publikationsbias: Ein Forschungsteam findet in zehn ähnlichen Studien nur zwei signifikante Resultate und veröffentlicht nur diese. Erkläre die Folgen für Fachliteratur, Effektstärken und praktische Entscheidungen.
- Transfer Präregistrierung: Zeige an einem selbst gewählten psychologischen Experiment, welche Entscheidungen vorab festgelegt werden sollten und welche explorativ bleiben dürfen.
- Vergleich von Evidenz: Beurteile einen starken Effekt aus einer kleinen Originalstudie gegenüber einem kleineren Effekt aus mehreren großen Replikationen.
- Kontextabhängigkeit: Entwickle zwei plausible Erklärungen dafür, warum ein Effekt in einem Land repliziert wird und in einem anderen nicht.
- Forschungsanreize: Analysiere, wie Karriere- und Publikationsdruck fragwürdige Forschungspraktiken begünstigen können, und schlage Gegenmaßnahmen vor.
- Wissenschaftskommunikation: Formuliere eine sachliche Pressemitteilung zu einer fehlgeschlagenen Replikation, ohne die Originalforschung zu dramatisieren oder zu verharmlosen.
Lernnachweis
Für einen erfolgreichen Lernnachweis solltest Du:
- Begriffe erklären: Replikation, Reproduzierbarkeit, Robustheit, Effektstärke und Teststärke sicher unterscheiden.
- Ursachen analysieren: Publikationsbias, p-Hacking, HARKing, geringe Stichproben und unpräzise Theorien in ihrem Zusammenspiel erklären.
- Evidenz bewerten: Originalstudien und Replikationen anhand von Methode, Präzision, Effektstärke und Kontext vergleichen.
- Forschung planen: Eine einfache Replikationsstudie mit Präregistrierung und begründeter Stichprobe entwerfen.
- Open Science anwenden: Geeignete Maßnahmen für Transparenz, Datenschutz und faire Veröffentlichung auswählen.
- Verantwortung reflektieren: Folgen unsicherer psychologischer Befunde für Forschung und Gesellschaft abwägen.
OERs zum Thema
Verknüpfte Lernbereiche
aiMOOC-Projekte
Schulfach+
|
|
aiMOOCs
aiMOOC Projekte
|
|
THE MONKEY DANCE
|
|
|