Zusammenfassung – Testen von Hypothesen

Die Testlogik

Ein(e) Kandidat(in) behauptet, dass sie/er über bestimmte Fähigkeiten verfügt. Um diese zu zeigen, muss sie/er einen Test erfolgreich durchlaufen.

Der Test wird von Skeptikern konzipiert, durchgeführt und ausgewertet.
Die Skeptiker bezweifeln, dass die Kandidatin / der Kandidat über die Fähigkeit verfügt. Sie stellen hierzu die sogenannte Nullhypothese auf, die besagt, dass die Behauptung der Kandidatin / des Kandidaten nicht stimmt.

Die Skeptiker geben ein Testverfahren vor, bei dem die Fähigkeiten stichprobenartig überprüft werden.
Dabei legen sie die Entscheidungsregel über Bestehen und Nichtbestehen so fest, dass ein zufallsbedingtes Bestehen sehr unwahrscheinlich ist.
In der Regel wird hierfür ein sogenanntes Signifikanzniveau benutzt: Die Wahrscheinlichkeit eines zufallsbedingten Bestehens soll geringer als das vorab festgelegte Signifikanzniveau sein.

Wenn bei der Durchführung des Testverfahrens die Kandidatin / der Kandidat ein Ergebnis erzielt, das signifikant von der Nullhypothese abweicht (das also kaum zufallsbedingt zu erreichen ist), dann wird die Nullhypothese verworfen, die Behauptung der Kandidatin / des Kandidaten wird dann akzeptiert. Sie kann dennoch falsch sein.

Wenn bei der Durchführung des Testverfahrens die Kandidatin / der Kandidat ein Ergebnis erzielt, das nicht signifikant von der Nullhypothese abweicht (das also durchaus zufallsbedingt zu erreichen ist), dann wird die Nullhypothese beibehalten, die Behauptung der Kandidatin / des Kandidaten wird weiterhin bezweifelt. Sie kann dennoch richtig sein.

Bei diesem Vorgehen wird die Falsifizierungslogik benutzt. Hier wird eine Hypothese nicht bewiesen. Sie wird stattdessen solange beibehalten, bis sie durch neue Ergebnisse als widerlegt oder nicht mehr haltbar gilt. Dieses Vorgehen ist üblich in allen empirisch arbeitenden Wissenschaften.

Wir verdeutlichen dieses Vorgehen anhand eines konkreten Szenarios.

Die Ausgangssituation betrachten

Kandidat H.K.	die Skeptiker	Mathematisierung aus Sicht der Skeptiker
Behauptung: Ich kann Wasser mit Stäben erspüren.
	Hypothese: Wir sind da sehr skeptisch und glauben nicht, dass Sie das können – zumindest nicht besser als jemand, der nur rät.
	experimentelles Vorgehen: Wir wollen das genauer untersuchen. Hierfür schlagen wir folgendes Experiment vor: Sie sollen 13-mal Wasser suchen, das in einem von 10 Eimern versteckt ist. Mindestens 7-mal müssen sie richtig liegen, um den Test zu bestehen.	Experiment: 13-mal Wasser suchen, das in einem von 10 Eimern versteckt ist. Nullhypothese: $H_0: p = 0.1$ ($p$: Trefferwahrscheinlichkeit) Zufallsexperiment: Das Experiment ist dann eine Bernoulli-Kette mit $n = 13$ und $p = 0.1$. Testgröße: $X$: Anzahl der Treffer Signifikanzniveau: $\alpha = 0.01\%$ Entscheidungsregel: $X \geq 7$ -> Test ist bestanden $X \text{ < } 7$ -> Test ist nicht bestanden
Zustimmung: Gut, ich werde es versuchen.

Das Testergebnis auswerten – Fall A

Kandidat H.K.	die Skeptiker	Mathematisierung aus Sicht der Skeptiker
	Testergebnis: Es hat leider nicht geklappt.
	Hypothese beibehalten / die Behauptung weiterhin bezeifeln: Wir bleiben bei unserer Skepsis und glauben weiterhin nicht, dass Sie das können.
Zu Hause hat es aber immer funktioniert.	Fehler 2. Art: Es ist durchaus möglich, dass Sie den Test nicht bestehen, obwohl ihre Behauptung stimmt.	Fehlerwahrscheinlichkeit: Für z. B. $p = 0.8$ erhält man $P(X \text{ < } 7 | p = 0.8) \approx 0.007$. Für z. B. $p = 0.5$ erhält man $P(X \text{ < } 7 | p = 0.5) \approx 0.5$.

Das Testergebnis auswerten – Fall B

Kandidat H.K.	die Skeptiker	Mathematisierung aus Sicht der Skeptiker
	Testergebnis: Sie haben den Test bestanden.
	Hypothese verwerfen / die Behauptung akzeptieren: Gut, dann müssen wir wohl anerkennen, dass Sie das möglicherweise tatsächlich können.
Ich habe doch schon gesagt, dass ich das kann.	Fehler 1. Art: Ein kleiner Zweifel bleibt aber immer noch. Sie könnten den Test bestehen, obwohl die Behauptung nicht stimmt.	Fehlerwahrscheinlichkeit: $P(X \geq 7 | p = 0.1) \approx 0.000099 \text{ < } \alpha = 0.01\%$