Zum Inhalt springen

Altern – Belastbare Aktualisierung bei widersprüchlicher Evidenz

Aus MOOCsWiki Staging
Die Druckversion wird nicht mehr unterstützt und kann Darstellungsfehler aufweisen. Bitte aktualisiere deine Browser-Lesezeichen und verwende stattdessen die Standard-Druckfunktion des Browsers.
aiMOOC-Siegel aiMOOC

Altern – Belastbare Aktualisierung bei widersprüchlicher Evidenz

QR-Code



Altern – Belastbare Aktualisierung bei widersprüchlicher Evidenz


Einleitung

Wie soll ein Forschungsprojekt reagieren, wenn neue Befunde nicht einfach in dieselbe Richtung zeigen? Genau diese Situation ist für wissenschaftliche Arbeit typisch. Ein einzelner positiver Marker kann Hoffnung machen, ein präziser Nullbefund kann einen erwarteten Funktionsgewinn infrage stellen, und eine unabhängige funktionelle Replikation kann die Lage erneut verändern. Eine belastbare Aktualisierungsregel muss deshalb mehr leisten als „positiv = hochstufen“ und „negativ = stoppen“.

Dieser aiMOOC entwickelt für das AG-T01-Claimledger eine Aktualisierungsregel, die vier Dinge strikt auseinanderhält:

  1. Evidenzrichtung: Unterstützt, widerspricht oder differenziert ein Befund einen Claim?
  2. Evidenzstärke: Wie direkt, präzise, unabhängig und methodisch belastbar ist der Befund?
  3. Unsicherheit: Wie eng oder breit ist der verbleibende plausible Bereich?
  4. Projektstatus: Welche operative Entscheidung ist angesichts von Evidenz, Kosten, Risiko, strategischem Wert und offenen Fragen sinnvoll?

Das zentrale Prinzip lautet: Projektstatus ist keine verkleidete Evidenzskala. Ein Projekt kann trotz starker Evidenz zunächst im Status „Klären“ bleiben, wenn ein Sicherheitsproblem offen ist. Umgekehrt kann ein Projekt trotz schwacher Evidenz weiter beobachtet werden, wenn die nächste Prüfung sehr günstig und informativ ist. Ebenso kann eine neue, hochwertige Gegen-Evidenz zu einer begründeten Rückstufung führen, ohne dass frühere positive Daten „gelöscht“ werden.

Im Lernmodell ist AG-T01 eine projektbezogene Claimledger-Bezeichnung. Die Aktualisierungsregel ist bewusst so formuliert, dass sie unabhängig davon funktioniert, ob ein konkreter Claim einen biologischen Marker, eine Intervention, einen Mechanismus oder einen funktionellen Endpunkt betrifft.

Die wissenschaftliche Methode ist kein linearer Aufstieg von „Hypothese“ zu „Bestätigung“. Neue Befunde können Hypothesen stützen, einschränken, aufteilen oder zurückstufen.

Das Video zum Satz von Bayes veranschaulicht, warum neue Daten vorhandene Einschätzungen aktualisieren und nicht einfach ersetzen.


Grundidee des AG-T01-Claimledgers

Ein Claimledger ist ein strukturiertes Register von Behauptungen, Befunden, Unsicherheiten und Entscheidungen. Für AG-T01 sollte nicht nur festgehalten werden, was ein Befund zeigt, sondern auch, welchen Claim er überhaupt adressiert.

Ein typischer Fehler besteht darin, Marker-, Mechanismus- und Funktionsaussagen zu vermischen. Deshalb werden Claims zunächst getrennt.

Claim-Typ Beispielhafte Frage Geeignete Evidenz Typischer Fehler
Marker-Claim Verändert sich ein definierter Marker? Validierte Messung des Markers Markeränderung wird als Funktionsgewinn interpretiert
Mechanismus-Claim Verändert die Intervention einen vermuteten Mechanismus? Direkte mechanistische Messung, Intervention, Dosis-Wirkungs-Bezug Korrelation wird als Kausalität interpretiert
Funktions-Claim Verbessert sich eine relevante Funktion? Direkter funktioneller Endpunkt Surrogat ersetzt den eigentlichen Funktionsendpunkt
Generalisierungs-Claim Gilt der Effekt auch unabhängig von Labor, Stichprobe oder Auswertung? Unabhängige Replikation mit neuen Daten Wiederholung im selben Setup wird mit Unabhängigkeit verwechselt
Sicherheits-Claim Bleibt das Risiko in einem akzeptablen Bereich? Direkte Sicherheitsdaten Nutzenbefund wird mit Sicherheit verwechselt

Die Trennung ist entscheidend: Ein positiver Markerbefund kann den Marker-Claim stärken, ohne den Funktions-Claim zu stärken. Ein präziser funktioneller Nullbefund kann den Funktions-Claim schwächen, obwohl der Marker-Claim bestehen bleibt.


Aktualisierungsregel: erst Claim, dann Evidenz, dann Entscheidung

Die Regel folgt einem dreistufigen Verfahren:

  1. Claim-Zuordnung: Welcher genaue Claim wird durch den neuen Befund geprüft?
  2. Evidenz-Update: Wie verändert der Befund Richtung, Stärke und Unsicherheit für diesen Claim?
  3. Entscheidungs-Update: Welche operative Konsequenz folgt daraus für den Projektstatus?

Die Reihenfolge verhindert, dass ein interessanter Befund direkt eine Projektentscheidung auslöst.


Stufe 1: Claim-Zuordnung

Jeder neue Befund erhält zunächst eine eindeutige Claim-ID. Wenn ein Befund mehrere Ebenen berührt, werden getrennte Ledger-Einträge angelegt.

Beispiel:

Claim-ID Claim Endpunkttyp
AG-T01-M1 Der Marker M verändert sich in erwarteter Richtung. Marker
AG-T01-F1 Die Intervention verbessert die Ziel-Funktion F. Funktion
AG-T01-R1 Der Funktionsbefund ist unabhängig replizierbar. Replikation

Ein Markerbefund darf also nicht automatisch AG-T01-F1 aktualisieren.


Stufe 2: Evidenz-Update ohne Einheits-Score

Statt alle Qualitätsaspekte in einer einzigen Zahl zu verstecken, wird jeder Befund als Evidenzvektor beschrieben:

Dimension Leitfrage Mögliche Ausprägung
Direktheit Misst der Befund den Claim direkt? indirekt – teilweise direkt – direkt
Präzision Wie eng ist der plausible Effektbereich? gering – mittel – hoch
Unabhängigkeit Stammt der Befund aus unabhängigen Daten, Teams oder Analysen? abhängig – teilweise unabhängig – unabhängig
Bias-Risiko Wie groß ist das Risiko systematischer Verzerrung? hoch – mittel – niedrig
Analytische Passung Passt die Analyse zur behaupteten Schlussfolgerung? unzureichend – brauchbar – passend
Relevanz Trifft der Endpunkt die praktische oder funktionelle Zielgröße? niedrig – mittel – hoch

Die Dimensionen werden nicht blind addiert. Stattdessen gelten Prioritätsregeln.


Prioritätsregeln

  1. Direktheit vor Surrogat: Für einen Funktions-Claim hat ein direkter Funktionsendpunkt Vorrang vor einem Marker.
  2. Präzision vor bloßer Nichtsignifikanz: Ein präziser Nullbefund mit enger Konfidenzregion, Äquivalenztest oder geeignetem Bayes-Faktor ist informativer als ein unterpowerter nichtsignifikanter Befund.
  3. Unabhängigkeit vor Wiederholung im selben Abhängigkeitsnetz: Eine unabhängige Replikation mit neuen Daten adressiert Generalisierbarkeit stärker.
  4. Bias-Risiko begrenzt Update: Ein spektakulärer Effekt mit hohem Bias-Risiko darf nur vorsichtig aktualisieren.
  5. Claim-Spezifität vor Gesamterzählung: Befunde werden nur auf Claims übertragen, die sie tatsächlich messen.
  6. Konflikte werden aufgeteilt statt gemittelt: Unterschiedliche Populationen, Endpunkte oder Protokolle werden zuerst als mögliche Moderatoren behandelt.
  7. Rückstufung ist zulässig: Fällt ein Claim unter eine vorab definierte Entscheidungsgrenze, kann der Projektstatus zurückgestuft werden.


Bayesianische Intuition und belastbare Aktualisierung

Das Claimledger muss nicht vollständig bayesianisch gerechnet werden, kann aber die bayesianische Logik übernehmen: Eine frühere Einschätzung wird durch neue Evidenz verändert. Besonders wichtig ist, dass ein neuer Befund nicht isoliert betrachtet wird.

Der Satz von Bayes verdeutlicht, dass neue Daten mit dem bisherigen Wissensstand verknüpft werden. Für ein Claimledger kann diese Idee formal oder qualitativ umgesetzt werden.

Wenn belastbare Likelihoods oder Bayes-Faktoren verfügbar sind, kann ein quantitatives Update genutzt werden:

Posterior Odds = Prior Odds × Bayes-Faktor

Für das Projektmanagement ist jedoch wichtiger, dass die Eingangsannahmen, Modellwahl und Evidenzquelle dokumentiert bleiben. Eine scheinbar präzise Zahl ersetzt nicht die Prüfung von Direktheit, Bias, Endpunktrelevanz oder Unabhängigkeit.


Befundtyp 1: Präziser Nullbefund

Ein präziser Nullbefund ist nicht dasselbe wie ein bloß nichtsignifikanter Befund. Ein nichtsignifikantes Ergebnis kann entstehen, weil die Stichprobe zu klein, die Messung zu ungenau oder der wahre Effekt klein ist. Ein präziser Nullbefund dagegen schränkt plausible Effekte deutlich ein.

Für eine belastbare Einordnung sind beispielsweise sinnvoll:

  1. eine vorab begründete kleinste relevante Effektgröße,
  2. ein Äquivalenztest,
  3. ein enges Konfidenzintervall,
  4. ein Bayes-Faktor, der tatsächlich Evidenz für die Nullhypothese quantifiziert,
  5. ausreichende Messqualität und Power für den relevanten Effektbereich.

Die Forschung zu Nullbefunden zeigt, dass „nicht signifikant“ allein keine Evidenz für Abwesenheit garantiert. Äquivalenztests und Bayes-Faktoren können hingegen speziell dafür eingesetzt werden, die Evidenz für sehr kleine oder abwesende Effekte zu beurteilen.[1][2]


Priorität des präzisen Nullbefunds

Für einen direkt gemessenen Funktions-Claim ist ein präziser Nullbefund hoch zu priorisieren, wenn er methodisch passend ist. Er kann frühere indirekte positive Befunde deutlich relativieren.

Wichtig: Hohe Priorität bedeutet nicht automatisch „Projekt beenden“. Sie bedeutet, dass der Befund bei der Evidenzbewertung nicht durch schwächere Markerbefunde überstimmt werden darf.


Unsicherheit beim präzisen Nullbefund

Ein guter Nullbefund kann die Unsicherheit verringern, obwohl er den Claim schwächt. Das ist ein zentraler Punkt:

Weniger Unsicherheit ist nicht dasselbe wie stärkere Unterstützung.

Beispiel: Vor dem Experiment könnte ein Funktionsgewinn zwischen −2 und +15 Einheiten plausibel sein. Nach einem präzisen Nullbefund könnte der plausible Bereich nur noch zwischen −1 und +2 liegen. Die Unsicherheit ist kleiner, aber ein praktisch relevanter positiver Effekt wird unwahrscheinlicher.


Projektstatus nach präzisem Nullbefund

Mögliche Statusänderungen:

Evidenzlage Unsicherheit Projektstatus Begründung
direkter präziser Nullbefund niedrig bis mittel Rückstufen funktioneller Ziel-Claim unterschreitet vorab definierte Schwelle
präziser Nullbefund im Konflikt mit unabhängiger positiver Replikation mittel Klären Quellenkonflikt muss auf Moderator, Population oder Protokoll geprüft werden
präziser Nullbefund nur für einen Teilendpunkt niedrig für Teilclaim Teilpfad zurückstufen andere Claims bleiben offen

Die Rückstufung ist damit eine begründete Folge einer Entscheidungsschwelle, nicht eine automatische Reaktion auf das Wort „Nullbefund“.


Befundtyp 2: Positiver Marker ohne Funktionsgewinn

Ein positiver Marker kann wissenschaftlich relevant sein, aber er ist nicht automatisch ein Nachweis praktischen oder funktionellen Nutzens. Regulatorische Definitionen unterscheiden deshalb Biomarker von direkten klinischen Ergebnismaßen. Ein Surrogatendpunkt ersetzt einen direkten Nutzenendpunkt nur dann sinnvoll, wenn er den relevanten Nutzen tatsächlich vorhersagt.[3]


Priorität des Markerbefunds

Für den Marker-Claim ist der positive Befund direkt relevant und kann hohe Priorität haben.

Für den Funktions-Claim ist seine Priorität dagegen begrenzt. Liegt gleichzeitig ein präziser funktioneller Nullbefund vor, gilt:

Der Marker darf den funktionellen Nullbefund nicht überschreiben.

Stattdessen wird die Hypothese aufgeteilt:

  1. Marker-Claim: gestützt.
  2. Funktions-Claim: nicht gestützt oder geschwächt.
  3. Mechanismus-Claim: eventuell offen.
  4. Surrogat-Claim: aktiv zu prüfen.


Unsicherheit beim Marker ohne Funktionsgewinn

Die Unsicherheit kann sich in zwei entgegengesetzte Richtungen verändern:

  1. Für den Marker selbst sinkt die Unsicherheit, wenn die Messung präzise und repliziert ist.
  2. Für die Frage, ob der Marker funktionell relevant ist, kann die Unsicherheit steigen, weil eine bisher angenommene Kopplung infrage steht.

Damit verhindert das Ledger die falsche Aussage: „Wir wissen jetzt mehr, also ist das Gesamtprojekt sicherer.“ Tatsächlich kann Wissen über eine Entkopplung zunehmen, während die mechanistische Gesamterklärung unsicherer wird.


Projektstatus bei Marker ohne Funktionsgewinn

Ein sinnvoller Status ist häufig Mechanismus klären oder Funktionspfad zurückstufen.

Nicht sinnvoll wäre eine automatische Eskalation in Richtung Anwendung allein aufgrund des Markerbefunds.

Claim Evidenzupdate Unsicherheitsupdate Operative Konsequenz
Marker verändert sich aufwärts sinkt bei präziser Messung Marker als reproduzierbare Beobachtung sichern
Funktion verbessert sich unverändert oder abwärts hängt vom Funktionsendpunkt ab keine Eskalation allein durch Marker
Marker sagt Funktion voraus abwärts bei Funktionsnull zunächst erhöht Validierungsstudie oder Modellrevision


Befundtyp 3: Unabhängige funktionelle Replikation

Eine unabhängige funktionelle Replikation ist für einen Funktions-Claim besonders informativ, wenn sie neue Daten verwendet, die gleiche wissenschaftliche Frage adressiert und nicht von denselben kritischen Abhängigkeiten wie die Ursprungsstudie geprägt ist.

Die National Academies unterscheiden Reproduzierbarkeit im Sinn konsistenter Ergebnisse mit denselben Daten und Methoden von Replizierbarkeit über neue Studien mit eigenen Daten.[4]


Priorität der unabhängigen funktionellen Replikation

Für den Funktions-Claim erhält eine methodisch hochwertige unabhängige Replikation sehr hohe Priorität, weil sie Direktheit und Unabhängigkeit verbindet.

Sie darf jedoch nicht automatisch alle Gegenbefunde „löschen“. Stattdessen wird geprüft:

  1. Sind Population und Intervention vergleichbar?
  2. Ist der funktionelle Endpunkt gleich oder nur ähnlich?
  3. Sind Effektgröße und Unsicherheit kompatibel?
  4. Gibt es Protokollunterschiede, die als Moderator infrage kommen?
  5. Wurde die Replikation unabhängig analysiert?
  6. Sind relevante negative Ergebnisse vollständig berichtet?


Unsicherheit bei unabhängiger funktioneller Replikation

Wenn Originalbefund und unabhängige Replikation konsistent sind, sinkt die Unsicherheit typischerweise.

Wenn die Replikation positiv ist, aber ein präziser Nullbefund aus einem anderen Kontext existiert, kann die Gesamtunsicherheit dennoch hoch bleiben. Dann lautet die richtige Aktualisierung nicht „widersprüchliche Daten mitteln“, sondern „Heterogenität erklären“.


Projektstatus nach unabhängiger funktioneller Replikation

Auch starke Replikation bedeutet nicht automatisch Status „Weiterentwickeln“. Der Projektstatus hängt zusätzlich von Sicherheitsdaten, Zielpopulation, Aufwand, Mechanismusverständnis und strategischen Kriterien ab.

Mögliche Statusentscheidung:

Evidenzlage Projektstatus Warum nicht automatisch eskalieren?
unabhängige funktionelle Replikation, keine starken Konflikte Weiterentwickeln oder nächste Validierungsstufe Sicherheits- und Anwendungsfragen bleiben separat
unabhängige positive Replikation plus präziser Nullbefund in anderer Population Klären möglicher Moderator oder Populationsunterschied
unabhängige Replikation mit hohem Bias-Risiko Replizieren Unabhängigkeit allein kompensiert kein methodisches Problem


Die belastbare Aktualisierungsregel für AG-T01

Die Regel kann als Entscheidungsalgorithmus formuliert werden.


Regel A: Scope-Gate

Kein Befund aktualisiert einen Claim, den er nicht direkt oder plausibel adressiert.

Ein Markerbefund aktualisiert primär Marker- und gegebenenfalls Mechanismus-Claims. Ein Funktions-Claim wird nur dann mitaktualisiert, wenn die Marker-Funktions-Beziehung bereits belastbar validiert ist.


Regel B: Precision-Gate

Nichtsignifikanz wird nicht als Null-Evidenz verbucht, solange Präzision und relevante Effektgrenze unklar sind.

Ein Nullbefund wird in drei Klassen eingeteilt:

Klasse Bedeutung Update
N0 nichtsignifikant, aber unpräzise Unsicherheit bleibt hoch
N1 relevanter Effekt wird teilweise eingeschränkt moderates Contra-Update
N2 relevanter Effektbereich wird durch Äquivalenztest, enge Intervalle oder passenden Bayes-Faktor weitgehend ausgeschlossen starkes Contra-Update


Regel C: Independence-Gate

Unabhängige Daten erhalten für Generalisierungs-Claims höheres Gewicht als Wiederholungen im selben Abhängigkeitsnetz.

Unabhängigkeit wird dokumentiert für:

  1. Datenerhebung,
  2. Labor oder Team,
  3. Auswertung,
  4. Messsystem,
  5. Finanzierung oder Interessenkonflikte,
  6. Vorregistrierung und Protokoll.


Regel D: Conflict-Gate

Wenn hochwertige Befunde widersprechen, wird nicht sofort ein Mittelwert gebildet. Zuerst wird geprüft, ob die Befunde überhaupt dieselbe Frage beantworten.

Konfliktprüfung:

  1. gleiche Population?
  2. gleiche Dosis oder Exposition?
  3. gleicher Zeitraum?
  4. gleicher Endpunkt?
  5. gleiche Messqualität?
  6. gleiche Intervention?
  7. gleiche statistische Zielgröße?
  8. vergleichbarer Bias?
  9. unabhängige Daten?
  10. plausible Moderatorvariable?

Erst danach ist eine formale Synthese sinnvoll.


Regel E: Decision-Gate

Der Projektstatus wird separat aus mindestens fünf Komponenten abgeleitet:

Komponente Beispiel
Evidenzlage Unterstützung, Widerspruch, Heterogenität
Unsicherheit breit, mittel, eng
erwarteter Informationsgewinn Was kann die nächste Studie klären?
Risiko und Kosten Sicherheitsrisiko, Ressourcen, Zeit
strategische Relevanz Bedeutung des Claims für das Gesamtziel

So kann ein Projekt trotz starker positiver Evidenz im Status „Halten“ bleiben, wenn Sicherheitsfragen offen sind. Ebenso kann ein Projekt trotz negativer Evidenz in „Klären“ bleiben, wenn ein kleiner, gezielter Test einen wichtigen Quellenkonflikt auflösen kann.


Projektstatus: operative Kategorien statt Evidenznoten

Folgende Statuskategorien sind bewusst nicht als aufsteigende Skala definiert:

Status Bedeutung
Beobachten Noch keine aufwendige Aktivität, aber relevante Signale werden gesammelt
Klären Ein spezifischer Konflikt oder Moderator soll gezielt geprüft werden
Replizieren Ein zentraler Claim benötigt unabhängige Bestätigung
Weiterentwickeln Der nächste Entwicklungsschritt ist aufgrund der Gesamtentscheidung gerechtfertigt
Halten Keine weitere Eskalation, bis definierte Bedingungen erfüllt sind
Rückstufen Ressourcen, Priorität oder Claim-Reichweite werden reduziert
Archivieren Der aktuelle Projektpfad wird beendet, bleibt aber dokumentiert und reaktivierbar

Wichtig: „Weiterentwickeln“ bedeutet nicht automatisch „stärkste Evidenz“. „Rückstufen“ bedeutet nicht automatisch „schwächste Evidenz“. Der Status ist eine Handlungskategorie.


Rückstufung ohne Wissensverlust

Eine belastbare Rückstufung erfüllt vier Bedingungen:

  1. Die auslösende Evidenz ist einem konkreten Claim zugeordnet.
  2. Der Entscheidungsgrund ist dokumentiert.
  3. Frühere Evidenz bleibt sichtbar und wird nicht gelöscht.
  4. Ein Reaktivierungskriterium wird angegeben.

Beispiel:

Feld Eintrag
Claim AG-T01-F1: Funktionsgewinn
Neuer Befund Präziser funktioneller Nullbefund
Evidenzwirkung Starker Widerspruch für praktisch relevanten Effekt
Projektstatus Rückstufen
Grund Vorab definierte Funktionsschwelle wird nicht mehr erreicht
Reaktivierung unabhängige funktionelle Replikation oder identifizierter Moderator

So entsteht kein „One-way ratchet“, bei dem Projekte nur eskalieren können.


Protokoll verworfener Erklärungen

Verworfene Erklärungen sollen nicht verschwinden. Sie werden mit Prüfgrund, Ergebnis und möglichem Wiederaufnahme-Kriterium dokumentiert.

ID Erklärung Warum geprüft? Test oder Evidenz Status Wiederaufnahme-Kriterium
RE-01 Der Nullbefund sei nur zu schwach gepowert häufige Erklärung für Nichtsignifikanz Äquivalenztest und enger relevanter Effektbereich verworfen, falls N2 erfüllt neue Information über größere minimale relevante Effektgröße
RE-02 Der positive Marker beweise funktionellen Nutzen Surrogatannahme direkter Funktionsendpunkt zeigt keinen Gewinn verworfen validierte Marker-Funktions-Beziehung in unabhängigen Daten
RE-03 Der Konflikt sei nur ein Messfehler gegensätzliche Befunde Kalibrierung, QC und Blindung unauffällig vorläufig verworfen neue Hinweise auf systematische Messabweichung
RE-04 Die Replikation sei nicht unabhängig mögliche gemeinsame Fehlerquelle getrennte Daten, getrenntes Team, dokumentierte Analyse verworfen nachgewiesene gemeinsame kritische Abhängigkeit
RE-05 Alle positiven Befunde beträfen denselben Claim mögliche Vermischung von Marker und Funktion Claim-Mapping zeigt unterschiedliche Endpunkttypen verworfen Nachweis einer validierten kausalen Surrogatbeziehung

Das Wort verworfen bedeutet hier nicht „für immer unmöglich“, sondern „durch die derzeitige Evidenz nicht mehr als Haupt-Erklärung geführt“.


Offene Quellenkonflikte

Widersprüchliche Quellen werden als eigene Ledgerobjekte geführt.

Konflikt-ID Quelle A Quelle B Konflikttyp Offene Frage Nächster Schritt
K-01 früher positiver Funktionsbefund präziser funktioneller Nullbefund Richtungskonflikt unterscheiden sich Population, Dosis oder Messfenster? harmonisierte Reanalyse oder gezielte Moderatorstudie
K-02 positiver Marker kein Funktionsgewinn Claim-Scope-Konflikt ist der Marker nur korreliert oder funktionell relevant? Surrogatvalidierung
K-03 lokaler Nullbefund unabhängige positive funktionelle Replikation Kontextkonflikt erklärt ein Moderator die Heterogenität? Protokollvergleich und weitere unabhängige Replikation

Nicht jeder scheinbare Konflikt ist ein echter Widerspruch. K-02 kann sich beispielsweise auflösen, wenn Marker und Funktion zwei getrennte Claims sind.


Beispiel eines AG-T01-Updates über drei neue Befunde

Angenommen, AG-T01-F1 lautet: „Die Intervention verbessert Funktion F in praktisch relevantem Ausmaß.“


Ausgangslage

Die Ausgangsevidenz ist gemischt: ein früher funktioneller Hinweis ist positiv, ein Marker reagiert, aber die funktionelle Datenbasis ist noch klein. Projektstatus: Replizieren.


Neuer Befund A: präziser Nullbefund

Der neue direkte Funktionstest zeigt einen engen Effektbereich um Null und schließt den vorab definierten praktisch relevanten Effekt weitgehend aus.

Update:

  1. Evidenzrichtung für AG-T01-F1: deutlich abwärts.
  2. Unsicherheit: sinkt.
  3. Status: von „Replizieren“ auf „Rückstufen“ oder „Klären“, abhängig von Konflikten.
  4. Nicht zulässig: „Nullbefund ist nur nichtsignifikant“ ohne Prüfung der Präzision.


Neuer Befund B: positiver Marker ohne Funktionsgewinn

Der Marker zeigt erneut eine klare Veränderung, die Funktion bleibt jedoch unverändert.

Update:

  1. AG-T01-M1 wird gestärkt.
  2. AG-T01-F1 wird nicht gestärkt.
  3. Die Annahme „Marker vermittelt Funktion“ wird schwächer.
  4. Status: Funktionspfad bleibt zurückgestuft; Mechanismuspfad kann im Status „Klären“ weitergeführt werden.


Neuer Befund C: unabhängige funktionelle Replikation

Ein unabhängiges Team findet einen funktionellen Effekt mit neuer Stichprobe und passender Methodik.

Update:

  1. AG-T01-F1 erhält ein starkes Pro-Update.
  2. Unsicherheit sinkt nur dann deutlich, wenn Effekt und Nullbefund miteinander erklärbar werden.
  3. Offener Konflikt K-03 wird aktiviert.
  4. Status: nicht automatisch „Weiterentwickeln“, sondern zunächst „Klären“, wenn der Konflikt ungeklärt bleibt.
  5. Eine weitere unabhängige Studie oder Moderatoranalyse kann den Konflikt auflösen.

Dieses Beispiel zeigt: Das Ledger kann nach einem Nullbefund zurückstufen und nach einer späteren Replikation wieder hoch priorisieren, ohne frühere Daten zu löschen oder den Status automatisch an eine einzelne Evidenzrichtung zu koppeln.


Entscheidungsmatrix für die drei Befundtypen

Befundtyp Priorität Unsicherheit Claim-Update Typischer Projektstatus
Präziser Nullbefund hoch bei direktem Endpunkt kann deutlich sinken funktioneller Claim abwärts Rückstufen oder Klären
Positiver Marker ohne Funktionsgewinn hoch für Marker, niedrig bis mittel für Funktion Markerunsicherheit sinkt, Funktionskopplung bleibt unsicher Marker aufwärts, Funktion unverändert oder abwärts Mechanismus klären, Funktionspfad halten oder rückstufen
Unabhängige funktionelle Replikation sehr hoch für Funktions- und Replikationsclaim sinkt bei Konsistenz, bleibt bei Konflikt erhöht funktioneller Claim aufwärts Weiterentwickeln oder Klären, abhängig von offenen Konflikten


Mindestfelder eines belastbaren Claimledgers

Ein praktischer AG-T01-Eintrag sollte mindestens folgende Felder enthalten:

Feld Zweck
Claim-ID eindeutige Zuordnung
Claim-Text präzise Behauptung
Version Änderungen sichtbar machen
Evidenzquelle Studie, Datensatz oder Analyse
Endpunkttyp Marker, Mechanismus, Funktion, Sicherheit, Generalisierung
Evidenzrichtung pro, contra, differenzierend
Direktheit Bezug zum Claim
Präzision Breite des plausiblen Effektbereichs
Unabhängigkeit neue Daten, neues Team, neue Analyse
Bias-Risiko systematische Verzerrung
Unsicherheit verbleibende Ungewissheit
Konflikt-ID offene Widersprüche
Verworfene Erklärungen dokumentierte Alternativhypothesen
Projektstatus operative Entscheidung
Entscheidungsgrund nachvollziehbare Begründung
Reaktivierungskriterium Bedingung für spätere Neubewertung


Anti-Fehler-Regeln

  1. Nichtsignifikanz ist nicht automatisch Evidenz für Null.
  2. Biomarker ist nicht automatisch Funktionsgewinn.
  3. Replikation ist nicht automatisch identisch mit Reproduzierbarkeit.
  4. Unabhängigkeit ersetzt keine methodische Qualität.
  5. Präzision kann auch bei negativem Befund hoch sein.
  6. Unsicherheit und Evidenzrichtung sind zwei verschiedene Achsen.
  7. Projektstatus und Evidenzstärke sind zwei verschiedene Achsen.
  8. Rückstufung ist kein Scheitern, sondern eine legitime Entscheidung.
  9. Quellenkonflikt wird dokumentiert, nicht versteckt.
  10. Verworfene Erklärung bleibt mit Wiederaufnahme-Kriterium protokolliert.


Medien zur Vertiefung

Die Grafik zu Reliabilität und Validität hilft dabei, Präzision und Treffgenauigkeit gedanklich auseinanderzuhalten. Hohe Wiederholbarkeit allein garantiert noch nicht, dass der richtige Claim gemessen wird.

Das kurze Video vertieft die Bayes-Logik hinter der Aktualisierung von Vorwissen durch neue Evidenz.


Quellen und fachliche Vertiefung

  1. National Academies of Sciences, Engineering, and Medicine: Reproducibility and Replicability in Science, 2019. https://www.nationalacademies.org/read/25303/chapter/3
  2. Pawel, Heyard, Micheloud, Held: Replication of null results: Absence of evidence or evidence of absence?, eLife, 2024. https://elifesciences.org/articles/92311
  3. Lakens, Scheel, Isager: Equivalence Testing for Psychological Research: A Tutorial, 2018. https://doi.org/10.1177/2515245918770963
  4. U.S. Food and Drug Administration: Surrogate Endpoint Resources for Drug and Biologic Development. https://www.fda.gov/drugs/development-resources/surrogate-endpoint-resources-drug-and-biologic-development
  5. Satz von Bayes
  6. Reproduzierbarkeit
  7. Replikation (Wissenschaft)


Interaktive Aufgaben


Quiz: Teste Dein Wissen

Was wird im AG-T01-Claimledger zuerst geprüft, wenn ein neuer Befund eintrifft? (Welchen konkreten Claim der Befund adressiert) (!Welcher Projektstatus am höchsten ist) (!Ob der Befund positiv klingt) (!Ob bereits ein Marker reagiert hat)




Wann ist ein Nullbefund besonders informativ? (Wenn er relevante Effektgrößen präzise einschränkt) (!Wenn nur der p Wert größer als 0,05 ist) (!Wenn die Stichprobe möglichst klein ist) (!Wenn kein funktioneller Endpunkt gemessen wurde)




Wie ist ein positiver Marker ohne Funktionsgewinn zu behandeln? (Er stärkt primär den Marker Claim) (!Er beweist automatisch funktionellen Nutzen) (!Er hebt einen präzisen Funktionsnullbefund auf) (!Er macht eine Replikation überflüssig)




Was kennzeichnet eine unabhängige funktionelle Replikation? (Neue Daten beantworten dieselbe funktionelle Frage unabhängig) (!Dieselben Daten werden erneut ausgewertet) (!Nur der Marker wird erneut gemessen) (!Die gleiche Grafik wird reproduziert)




Was bedeutet eine Verringerung der Unsicherheit nach einem Nullbefund? (Der plausible Effektbereich kann enger geworden sein) (!Der Claim ist automatisch stärker unterstützt) (!Das Projekt muss automatisch beendet werden) (!Der Marker muss negativ geworden sein)




Warum wird kein einziger Gesamtscore für alle Evidenzdimensionen verwendet? (Weil Direktheit Präzision Unabhängigkeit und Bias unterschiedliche Funktionen haben) (!Weil Zahlen in Wissenschaft ungeeignet sind) (!Weil Replikationen nie vergleichbar sind) (!Weil Projektstatus und Evidenz identisch sind)




Was geschieht bei einem offenen Quellenkonflikt zuerst? (Es wird geprüft ob beide Quellen wirklich denselben Claim unter vergleichbaren Bedingungen testen) (!Die ältere Quelle wird automatisch gelöscht) (!Die positivere Quelle gewinnt) (!Beide Ergebnisse werden ohne Prüfung gemittelt)




Wann ist eine Rückstufung begründet? (Wenn ein Claim eine vorab definierte Entscheidungsschwelle nicht mehr erfüllt) (!Bei jedem einzelnen negativen Messwert) (!Sobald ein Marker unverändert bleibt) (!Nur wenn alle früheren Daten gelöscht werden)




Was ist ein Reaktivierungskriterium? (Eine dokumentierte Bedingung für eine spätere Neubewertung) (!Ein Beweis dass der frühere Befund falsch war) (!Eine automatische Hochstufung) (!Eine Ersatzbezeichnung für Evidenzstärke)




Welche Aussage trennt Evidenzstärke und Projektstatus korrekt? (Starke Evidenz kann trotzdem zu Klären oder Halten führen wenn andere Entscheidungsfaktoren offen sind) (!Starke Evidenz bedeutet immer Weiterentwickeln) (!Schwache Evidenz bedeutet immer Archivieren) (!Projektstatus ist nur ein anderer Name für Evidenzstärke)





Memory

Präziser Nullbefund schränkt relevante Effekte eng ein
Marker Claim Aussage über eine gemessene biologische oder technische Größe
Funktions Claim Aussage über einen direkten funktionellen Nutzen
Replikation neue Daten zur gleichen wissenschaftlichen Frage
Unsicherheit Breite des verbleibenden plausiblen Bereichs
Rückstufung operative Reduktion von Priorität oder Ressourcen
Reaktivierungskriterium Bedingung für eine spätere Neubewertung





Drag and Drop

Ordne die richtigen Begriffe zu. Thema
Direkter Funktionsendpunkt funktioneller Claim
Äquivalenztest präziser Nullbefund
Unabhängige neue Daten Replikation
Positiver Biomarker Marker Claim
Reaktivierungskriterium begründete Rückstufung






Kreuzworträtsel

Bayes Welcher Satz beschreibt die Aktualisierung von Vorwissen durch neue Evidenz?
Marker Wie heißt eine gemessene Größe, die nicht automatisch funktionellen Nutzen beweist?
Replikation Wie heißt eine neue Studie zur gleichen wissenschaftlichen Frage mit neuen Daten?
Präzision Welche Eigenschaft beschreibt einen engen plausiblen Effektbereich?
Konflikt Wie heißt ein offener Widerspruch zwischen Quellen?
Rückstufung Wie heißt die begründete operative Verringerung von Priorität oder Ressourcen?





LearningApps


Lückentext

Vervollständige den Text.
Ein neuer Befund wird zuerst einem konkreten

zugeordnet. Ein bloß nichtsignifikantes Ergebnis ist nicht automatisch ein präziser

. Für einen funktionellen Claim besitzt ein direkter

mehr Aussagekraft als ein nicht validierter Marker. Eine unabhängige Studie mit neuen Daten wird als

eingeordnet. Wenn ein Befund den plausiblen Effektbereich enger macht, kann die

sinken, auch wenn der Claim geschwächt wird. Ein positiver Marker ohne Funktionsgewinn stärkt zunächst den

. Ein offener Widerspruch zwischen hochwertigen Quellen wird als

dokumentiert. Der operative Projektstatus darf nicht mit der

gleichgesetzt werden. Eine dokumentierte Verringerung der Priorität heißt

. Für eine spätere Neubewertung wird ein

festgelegt.




Offene Aufgaben


Leicht

  1. Claim Mapping: Formuliere je einen Marker-, Mechanismus- und Funktions-Claim zu einem selbst gewählten Beispiel.
  2. Nullbefund: Erkläre in eigenen Worten, warum „nicht signifikant“ nicht automatisch „kein Effekt“ bedeutet.
  3. Projektstatus: Ordne drei frei erfundene Forschungssituationen den Statuskategorien Beobachten, Klären oder Rückstufen zu und begründe Deine Wahl.
  4. Evidenzvektor: Erstelle für einen Beispielbefund eine Einschätzung zu Direktheit, Präzision, Unabhängigkeit und Bias-Risiko.


Standard

  1. Claimledger: Baue eine Tabelle mit fünf Claims und mindestens drei Evidenzquellen und trenne dabei Marker- und Funktionsaussagen.
  2. Konfliktanalyse: Entwickle zwei scheinbar widersprüchliche Studien und zeige, welche Protokollunterschiede den Konflikt erklären könnten.
  3. Rückstufungsregel: Definiere eine vorab festgelegte Schwelle, bei deren Unterschreitung ein Projektpfad zurückgestuft wird.
  4. Surrogatvalidierung: Entwirf eine Studie, mit der geprüft werden kann, ob ein Marker tatsächlich einen Funktionsgewinn vorhersagt.


Schwer

  1. Bayesianische Aktualisierung: Entwickle ein vereinfachtes numerisches Beispiel mit Prior Odds, Bayes-Faktor und Posterior Odds für einen AG-T01-Claim.
  2. Äquivalenztest: Lege eine kleinste praktisch relevante Effektgröße fest und erkläre, wie ein präziser Nullbefund diese Grenze testen könnte.
  3. Replikationsdesign: Plane eine unabhängige funktionelle Replikation, die möglichst wenige kritische Abhängigkeiten zur Ursprungsstudie besitzt.
  4. Audit Trail: Erstelle ein vollständiges Entscheidungsprotokoll mit Claim-Version, Evidenzupdate, verworfenen Erklärungen, Quellenkonflikt, Statusänderung und Reaktivierungskriterium.




Text bearbeiten Bild einfügen Video einbetten Interaktive Aufgaben erstellen



Lernkontrolle

  1. Transfer auf widersprüchliche Befunde: Ein Marker verbessert sich stark, ein direkter Funktionsendpunkt bleibt präzise unverändert. Entwickle eine Claim-spezifische Aktualisierung und begründe den Projektstatus.
  2. Konfliktmoderator: Zwei unabhängige Studien liefern entgegengesetzte funktionelle Ergebnisse. Formuliere drei plausible Moderatorvariablen und beschreibe, wie Du sie testen würdest.
  3. Rückstufung und Reaktivierung: Entwirf eine Situation, in der eine Rückstufung gerechtfertigt ist, und definiere ein konkretes Reaktivierungskriterium.
  4. Status und Evidenz trennen: Zeige an einem Beispiel, wie starke Evidenz zu einem Status „Halten“ führen kann, ohne dass dies einen Widerspruch darstellt.
  5. Verworfene Erklärung: Wähle eine alternative Erklärung für einen Nullbefund und beschreibe, welche Daten nötig wären, um sie vorläufig zu verwerfen.
  6. Ledger-Audit: Prüfe einen selbst erstellten Claimledger darauf, ob Marker, Funktion, Unsicherheit und Projektstatus sauber getrennt sind.




Lernnachweis

Für einen Lernnachweis zu diesem Thema solltest Du zeigen können:

  1. einen Claim präzise formulieren und einem Endpunkttyp zuordnen,
  2. einen präzisen Nullbefund von bloßer Nichtsignifikanz unterscheiden,
  3. Markerbefund und Funktionsgewinn getrennt bewerten,
  4. die Bedeutung unabhängiger funktioneller Replikation erklären,
  5. Evidenzrichtung und Unsicherheit getrennt dokumentieren,
  6. Projektstatus und Evidenzstärke voneinander unterscheiden,
  7. eine begründete Rückstufung formulieren,
  8. verworfene Erklärungen mit Prüfgrund dokumentieren,
  9. offene Quellenkonflikte strukturiert protokollieren,
  10. ein Reaktivierungskriterium definieren,
  11. aus widersprüchlicher Evidenz einen transparenten nächsten Prüfungsschritt ableiten.




OERs zum Thema



Verknüpfte Lernbereiche


aiMOOC-Projekte

  1. ↑ Samuel Pawel, Rachel Heyard, Charlotte Micheloud, Leonhard Held: Replication of null results: Absence of evidence or evidence of absence? eLife, 2024. https://elifesciences.org/articles/92311
  2. ↑ Daniël Lakens, Anne M. Scheel, Peder M. Isager: Equivalence Testing for Psychological Research: A Tutorial. Advances in Methods and Practices in Psychological Science, 2018. https://doi.org/10.1177/2515245918770963
  3. ↑ U.S. Food and Drug Administration: Surrogate Endpoint Resources for Drug and Biologic Development. https://www.fda.gov/drugs/development-resources/surrogate-endpoint-resources-drug-and-biologic-development
  4. ↑ National Academies of Sciences, Engineering, and Medicine: Reproducibility and Replicability in Science. 2019. https://www.nationalacademies.org/read/25303/chapter/3