Diskursqualität und IBW-Modell/Forschungsprogramm/Pilotprotokoll
Forschung → IBW und Diskursqualität → Forschungsprogramm
Studium · Forschung · Fortbildung
Pilotprotokoll für die IBW und DQ Forschung
Vorbereitete Methodik · freiwillige Erwachsene · noch keine Datenerhebung
Pilot zur Prüfung von DQ-Kriterien und strukturiertem Diskurs
Status: ausgearbeiteter Untersuchungsentwurf, noch nicht durchgeführt. Die Vorlagen enthalten keine realen Teilnehmendendaten. Der Pilot richtet sich auf freiwillig teilnehmende Erwachsene aus Studium und Fortbildung. Die Kriteriengrundlage ist Glanz 2016; die Verbindung mit beobachtbarer Diskursqualität und Transfer wird hier als neue Forschungshypothese formuliert. G2016 DQI2003
Leitfrage und Abgrenzung
Kann eine nachvollziehbare Trennung von Behauptung, Begründung, Beleg, Einwand und Entscheidung die Rekonstruktion einer fachlichen Kontroverse erleichtern, ohne den Zugang unverhältnismäßig zu erschweren? Der Pilot prüft zunächst Messbarkeit und Durchführbarkeit. Er dient nicht dazu, ohne ausreichende Stichprobe einen allgemeinen Wirksamkeitsnachweis zu behaupten.
Einheiten und Material
- Audit-Einheit: eine dokumentierte Portalversion in einem festgelegten Rollen- und Aufgabenszenario.
- Diskurs-Einheit: ein einzelner Beitrag und eine vorab definierte, zusammenhängende Diskursepisode. Die Auswertungen dürfen Beiträge derselben Gruppe nicht wie unabhängige Personen behandeln.
- Lern-Einheit: eine individuell bearbeitete neue Fallaufgabe; Gruppendiskussion und individuelle Leistung bleiben unterscheidbar.
- Material: zunächst synthetische, fachlich geprüfte Kontroversen. Reale öffentliche Texte werden nur unter einem geklärten rechtlichen und ethischen Rahmen verwendet. Vertrauliche Lernstände und reale Schülerdaten werden nicht einbezogen.
Messgrößen und ihre Grenzen
| Feld | Beobachtung | Abgrenzung |
|---|---|---|
| portal_version / szenario | Version, Rolle und konkrete Aufgabe | Merkmal des Untersuchungsrahmens; kein Personenwert. |
| dq_id / rating / beleg | Kriterium, begründete Stufe und beobachtbarer Nachweis | Portalbedingungen; historische Rubrik und neue Fassung nicht vermischen. |
| episode / beitragsart | Vorab abgegrenzte Episode und Funktion einer Äußerung | Beiträge sind in Gruppen und Aufgaben verschachtelt. |
| begruendungsqualitaet | Explizite Gründe, Belegpassung und Umgang mit Gegenargumenten | Nicht mit Zustimmung, Textlänge oder Höflichkeit gleichsetzen. |
| verstaendnis / transfer | Individuelle Antwort auf eine neue fachliche Aufgabe | Keine Aussage über Intelligenz oder Gesamtwert einer Person. |
| teilnahme / belastung | Freiwillige Teilnahme, Abbruch und wahrgenommener Aufwand | Nur erforderliche Daten erfassen; Nichtteilnahme bleibt folgenlos. |
| missing_reason / codebook_version | Fehlgrund und benutzte Codebuchfassung | Nicht beobachtbar, nicht anwendbar und technisch fehlend unterscheiden. |
Ablauf und Entscheidungspunkte
- Codebuch vorbereiten: Für jedes ausgewählte Kriterium Definition, positive und negative Ankerbeispiele, Kontext und Regeln für „nicht beurteilbar“ festlegen. Die vollständigen 60 Kriterien bleiben als Herkunftsregister erhalten.
- Verständlichkeit erproben: Mehrere fachlich und didaktisch geeignete Erwachsene bearbeiten die Anleitung. Rückfragen führen zu dokumentierten Änderungen; noch keine Hypothesenprüfung.
- Doppelcodierung durchführen: Mindestens zwei unabhängig arbeitende, geschulte Personen codieren dasselbe Pilotmaterial. Die Auswahl des Materials und alle nachträglichen Regeländerungen werden dokumentiert. Übereinstimmungsmaße sind mit Unsicherheit und den Häufigkeiten der Kategorien zu berichten.
- Vergleichsprototypen prüfen: Inhalt und Aufgaben werden möglichst gleich gehalten; gezielt variiert wird die Strukturierung der Beiträge. Die Zuordnung zu Bedingungen, erforderliche Stichprobengröße und Berücksichtigung von Gruppen werden vor der Hauptstudie begründet.
- Vorwissen und Ergebnis erheben: Eine fachliche Ausgangsaufgabe, eine Nachheraufgabe und ein neuer Transferfall werden getrennt ausgewertet. Aufgabenqualität und Bewertung werden vor Kenntnis der Bedingung geprüft.
- Teilnahme und Belastung prüfen: Abbrüche, Zeitaufwand, wahrgenommener Druck und Verständlichkeit dokumentieren. Ein ausgefeiltes Formular kann zugleich eine neue Barriere darstellen.
- Entscheiden: Codebuch und Prototyp überarbeiten oder verwerfen. Nur bei ausreichender Durchführbarkeit und begründeter Messqualität wird eine Hauptstudie geplant.
Analyseplan vor einer Hauptstudie
Primäre und sekundäre Zielgrößen werden vorab bestimmt. Die erforderliche Zahl von Personen und Gruppen ist anhand der angestrebten Präzision, plausibler Effektgrößen, Clustereffekte und Ausfälle zu begründen. Eine willkürliche Zahl wird hier nicht als ausreichende Stichprobe festgelegt.
Fehlende Werte werden mit Ursachen berichtet. „Nicht anwendbar“ und „nicht beobachtbar“ werden getrennt dokumentiert und nicht automatisch als Null gewertet. Für ordinale Ratings sind passende Übereinstimmungs- und Analyseverfahren zu wählen; eine hohe Übereinstimmung allein genügt nicht als Validitätsbeleg. Bei mehreren Zielgrößen werden Hauptaussagen und explorative Analysen klar getrennt.
Ein beobachteter Zusammenhang zwischen Nutzung eines Formulars und guter Argumentation kann auf Selbstselektion beruhen. Ein geeignet geplanter Vergleich kann diese Erklärung begrenzen; er beseitigt nicht sämtliche Übertragungsprobleme. Fachgebiet, Sprache und Vorerfahrung bestimmen mit, für welche Situationen ein Ergebnis gelten könnte.
Ethik Datenschutz und Abbruch
Vor jeder realen Erhebung sind Zuständigkeit, freiwillige Einwilligung, Widerruf, Aufbewahrung, Zugriffsrechte und eine erforderliche Ethikprüfung zu klären. Forschung darf keinen Einfluss auf reguläre Noten oder Zugangsrechte haben. Externe KI wird durch dieses Protokoll nicht produktiv aktiviert. Eine KI-Bedingung wäre gesondert hinsichtlich Anbieter, Datenfluss, Transparenz, Kosten und Alternativen zu prüfen. UNESCO2023
Bei unbeabsichtigter Veröffentlichung vertraulicher Angaben, belastendem Druck, unklarer Einwilligung oder technisch nicht sicher trennbaren Bedingungen wird die Erhebung gestoppt und verantwortet geklärt. Auch ohne Vorfall wird ein negatives oder nicht interpretierbares Ergebnis veröffentlicht, soweit dies datenschutzgerecht möglich ist.
Nachnutzbare Ergebnisse
Ein späteres Studienpaket soll Fragestellung, versioniertes Codebuch, zulässiges Material, Datenwörterbuch, dokumentierte Ausschlüsse, Analysecode und Ergebnisbericht enthalten. Rohdaten werden nur so weit geteilt, wie Rechte und Einwilligung es erlauben. Die FAIR-Prinzipien unterstützen die Nachnutzbarkeit und verpflichten nicht zur Offenlegung personenbezogener Daten. FAIR2016