Zusammenfassung – Analyse eines Hypothesentests

Die Testlogik

Eine Kandidatin / ein Kandidat behauptet, dass sie/er über bestimmte Fähigkeiten verfügt. Um diese zu zeigen, muss sie/er einen Test erfolgreich durchlaufen.

Der Test wird von Skeptikern konzipiert, durchgeführt und ausgewertet.
Die Skeptiker bezweifeln, dass die Kandidatin / der Kandidat über die Fähigkeit verfügt. Sie stellen hierzu die sogenannte Nullhypothese auf, die besagt, dass die Behauptung der Kandidatin / des Kandidaten nicht stimmt. Die Behauptung der Kandidatin / des Kandidaten wird als Alternativhypothese bezeichnet.

Die Skeptiker geben ein Testverfahren vor, bei dem die Fähigkeiten stichprobenartig überprüft werden.
Dabei legen sie die Entscheidungsregel über Bestehen und Nichtbestehen so fest, dass ein zufallsbedingtes Bestehen sehr unwahrscheinlich ist.
In der Regel wird hierfür ein sogenanntes Signifikanzniveau benutzt: Die Wahrscheinlichkeit, dass man den Test durch reines Raten besteht, soll geringer als das vorab festgelegte Signifikanzniveau sein.

Wenn bei der Durchführung des Testverfahrens die Kandidatin / der Kandidat ein Ergebnis erzielt, das signifikant von der Nullhypothese abweicht (das also kaum zufallsbedingt zu erreichen ist), dann wird die Nullhypothese verworfen, die Behauptung der Kandidatin / des Kandidaten wird dann akzeptiert. Sie kann dennoch falsch sein.

Wenn bei der Durchführung des Testverfahrens die Kandidatin / der Kandidat ein Ergebnis erzielt, das nicht signifikant von der Nullhypothese abweicht (das also durchaus zufallsbedingt zu erreichen ist), dann wird die Nullhypothese beibehalten, die Behauptung der Kandidatin / des Kandidaten wird weiterhin bezweifelt. Sie kann dennoch richtig sein.

Bei diesem Vorgehen wird eine Falsifizierungslogik benutzt. Hier wird die Nullhypothese nicht bewiesen. Sie wird stattdessen solange beibehalten, bis sie durch Ergebnisse als widerlegt oder nicht mehr haltbar gilt. Dieses Vorgehen ist üblich in allen empirisch arbeitenden Wissenschaften.

Wir verdeutlichen dieses Vorgehen anhand eines konkreten Szenarios.

Die Ausgangssituation betrachten

Kandidat(in)	Skeptiker	Mathematisierung aus Sicht der Skeptiker
Behauptung: Ich kann Wasser mit Stäben erspüren.
	Hypothese: Wir sind da sehr skeptisch und glauben nicht, dass Sie das können – zumindest nicht besser als jemand, der nur rät.
	Experimentelle Überprüfung: Wir wollen das genauer untersuchen. Hierfür schlagen wir folgendes Experiment vor: Sie sollen 13-mal Wasser suchen, das in einem von 10 Eimern versteckt ist. Mindestens 7-mal müssen sie richtig liegen, um den Test zu bestehen. Mit $p$ beschreiben wir die ihre Trefferwahrscheinlichkeit.	Experiment: 13-mal Wasser suchen, das in einem von 10 Eimern versteckt ist. Hypothesen: $H_0: p = 0.1$ (Nullhypothese) $H_1: p > 0.1$ (Beh. bzw. Alternativhypothese) Zufallsexperiment: Wenn $H_0$ zutrifft, dann ist das Experiment eine Bernoulli-Kette mit $n = 13$ und $p = 0.1$. Testgröße: $X$: Anzahl der Treffer Signifikanzniveau: $0.01\%$ Entscheidungsregel: $X \geq 7$: Test ist bestanden $X \lt 7$: Test ist nicht bestanden
Zustimmung: Gut, ich werde es versuchen.

Das Testergebnis auswerten – Fall A

Kandidat(in)	Skeptiker	Mathematisierung aus Sicht der Skeptiker
	Testergebnis: Es hat leider nicht geklappt.
	die Nullhypothese beibehalten / die Behauptung weiterhin bezweifeln: Wir bleiben bei unserer Skepsis und glauben weiterhin nicht, dass Sie das können.
Zu Hause hat es aber immer funktioniert.	Fehler 2. Art: Es ist durchaus möglich, dass Sie den Test nicht bestehen, obwohl ihre Behauptung stimmt.	Fehlerwahrscheinlichkeit: Für z.B. $p = 0.8$ erhält man: $\beta = P(X \lt 7 | p = 0.8) \approx 0.007$

Das Testergebnis auswerten – Fall B

Kandidat(in)	Skeptiker	Mathematisierung aus Sicht der Skeptiker
	Testergebnis: Sie haben den Test bestanden.
	die Nullhypothese aufgeben / die Behauptung akzeptieren: Gut, dann müssen wir wohl anerkennen, dass Sie das möglicherweise tatsächlich können.
Ich habe doch schon gesagt, dass ich das kann.	Fehler 1. Art: Ein kleiner Zweifel bleibt aber immer noch. Sie könnten den Test bestehen, obwohl die Behauptung nicht stimmt.	Fehlerwahrscheinlichkeit: $\alpha = P(X \geq 7 | p = 0.1) \approx 0.000099 \lt 0.01\%$

Fehler beim Testen

Beim Testen einer Behauptung (als Alternativhypothese) gegenüber einer Nullhypothese sind Fehler Teil des Testsystems. Die Übersicht zeigt die verschiedenen Fehlerarten.

	Entscheidung für $H_0$	Entscheidung für $H_1$
$H_0$ ist wahr	richtige Entscheidung	falsche Entscheidung Fehler 1. Art ($\alpha$-Fehler)
$H_1$ ist wahr	falsche Entscheidung Fehler 2. Art ($\beta$-Fehler)	richtige Entscheidung

Man konstruiert Hypothesentest so, dass der Fehler 1. Art klein wird. In der Regel legt man vorab ein Signifikanzniveau (wie z.B. $5 \%$) als obere Schranke für den Fehler 1. Art fest.

Der Fehler 2. Art wird in der Regel nicht beschränkt. Man versucht jedoch, den Test so zu konstruieren (z.B. durch eine Vergrößerung der Stichprobe), dass auch der Fehler 2. Art möglichst gering wird.

Beide Test gleichzeitig minimieren geht in der Regel nicht. Wenn man den Fehler 1. Art verringert, dann vergrößert man den Fehler 2. Art.