Das Testverfahren kritisch betrachten

Hier noch einmal die von den Forscherteams entwickelten Testverfahren, mit denen sie ihre Forschungsfragen klären wollen.

Forscherteam A	Forscherteam B	Forscherteam C
Hypothesen: $H_0: p = 0.6$ $H_1: p > 0.6$ KI verbessert den Lernerfolg	Hypothesen: $H_0: p = 0.6$ $H_1: p \lt 0.6$ KI verschlechtert den Lernerfolg	Hypothesen: $H_0: p = 0.6$ $H_1: p \neq 0.6$ KI verändert den Lernerfolg
Signifikanzniveau:	Signifikanzniveau:	Signifikanzniveau:
Entscheidungsregel: $X \le 55$: $H_0$ beibehalten $X \gt 55$: $H_1$ akzeptieren	Entscheidungsregel: $X \ge 41$: $H_0$ beibehalten $X \lt 41$: $H_1$ akzeptieren	Entscheidungsregel: $X \ge 39$ und $X \le 56$: $H_0$ beibehalten $X \lt 39$ oder $X \gt 56$: $H_1$ akzeptieren

Aufgabe 1

Forscherteam C ist mit dem Testergebnis nicht zufrieden. Das Team hatte erwartet, dass der Test die Behauptung KI verändert den Lernerfolg bestätigt. Ein Teammitglied macht folgenden Vorschlag: Wir könnten das Signifikanzniveau auf $10 \%$ erhöhen. Dann würde das Testergebnis eine signifikante Abweichung von der Nullhypothese darstellen und man müsste unsere Behauptung akzeptieren.

Nimm Stellung zu diesem Vorschlag.

Aufgabe 2

Ein Forschungsergebnis sollte reproduzierbar sein. Forscherteam D will das Ergebnis von Forscherteam A überprüfen. Es führt den Test von Forscherteam A unter gleichen Bedingungen noch einmal durch. Bei der Auswertung des Tests ergibt sich, dass $X = 53$ Teilnehmer:innen den Test nach einer Lernphase mit KI bestanden haben. Ein Mitglied von Forscherteam D äußert sich daraufhin so: Das Ergebnis von Forscherteam A ist falsch.

Bewerte diese Aussage.

Aufgabe 3

Angenommen, die unbekannte Bestehensquote beim Test (nach einer KI-Lernphase) beträgt $p = 0.66$. Wie wahrscheinlich ist es, dass ein Ergebnis wie bei Forscherteam D ($H_0$ wird beibehalten) auftritt? Mache Vorschläge, wie die Teams A und D weiter verfahren könnten, um ihre Forschungsfrage zu klären.