Vertiefung – Signifikanzniveau

Eine Entscheidungsregel konzipieren

Wir spielen jetzt folgende Situation durch: Die Skeptiker entwickeln ein neues Testszenario.

Für manche behauptete Fähigkeiten sind Tests sinnvoll, bei denen es um wiederholte Ja-Nein-Entscheidungen geht. So behauptet Kandidat P.T., dass er mit seinem Pendel erspüren kann, ob sich unter einem Karton ein Aluminium-Röhrchen befindet oder nicht. Zur Überprüfung soll Kandidat P.T. wiederholt mit seinem Pendel feststellen, ob ein Aluminium-Röhrchen unter einem Karton versteckt ist oder nicht. Die Skeptiker stellen – wie immer – die Nullhypothese auf, dass Kandidat P.T. rät. Es handet sich aus Sicht der Skeptiker bei dem Test also um eine Bernoulli-Kette mit der Trefferwahrscheinlichkeit $p=0.5$. Unklar ist noch, wie oft das Pendelexperiment wiederholt werden soll und ab welcher Trefferzahl der Test als bestanden gilt.

Die Skeptiker könnten so vorgehen, dass sie zunächst eine Wiederholungszahl $n$ und die Mindesttrefferanzahl $k$ für das Testverfahren vorgeben und dann die Fehlerwahrscheinlichkeiten berechnen. Sinnvoller ist es, umgekehrt vorzugehen und eine Fehlerwahrscheinlichkeit vorzugeben und dann $n$ und $k$ passend zu wählen. Dieses Vorgehen ist in der Praxis üblich. Man gibt eine Obergrenze für den Fehler 1. Art als sogenanntes Signifikanzniveau vor. Wenn ein(e) Kandidat(in) es schafft, den Test zu bestehen, dann wird das als signifikante Abweichung von der Nullhypothese betrachtet und die Nullthypothese wird verworfen. Bei einer Nullhypothese geht man davon aus, dass behauptete Effekte zufällig zustande kommen. Wird sie abgelehnt, geht man von einem echten Zusammenhang aus. Ein niedriges Signifikanzniveau bedeutet, dass man eine höhere Sicherheit haben möchte, bevor man eine Behauptung akzeptierst.

Bei der Wahl des Signifikanzniveas orientieren wir uns am Testszenario für den Kandidat H.K.: Sie sollen 13-mal Wasser suchen, das in einem von 10 Eimern versteckt ist. Mindestens 7-mal müssen sie richtig liegen, um den Test zu bestehen.. Bei diesem Testszenario beträgt der Fehler 1. Art $\alpha$ ca. $0.0001=0.01\mathrm{\%}$. Das Signifikanzniveau soll also $0.01\mathrm{\%}$ betragen.

Aufgabe 1

Für die Durchführung von Experimenten mit zwei Ausgängen ist es aus praktischer Sicht günstig, wenn man diese in 10er-Blöcken führen kann. Die Anzahl der Wiederholungen sollte also ein Vielfaches von $10$ sein wie z.B. $30$ Wiederholungen oder $40$ Wiederholungen oder $50$ Wiederholungen.

(a) Bestimme für $n=30$, $n=40$ und $n=50$ die Mindesttrefferanzahl $k$ so, dass für den Fehler 1. Art $\alpha \le 0.0001$ gilt. Trage die Ergebnisse in die folgende Übersicht ein.

Applet - Binomialverteilungen

Zum Herunterladen: binomialverteilung5.ggb

$n$ Anzahl der Wiederholungen	$k$ Mindestanzahl der Treffer	Fehler 1. Art Bedingung: $\alpha \le 0.0001$
$n=30$	$k=\dots$	$\alpha \approx \dots$
$n=40$	$k=\dots$	$\alpha \approx \dots$
$n=50$	$k=\dots$	$\alpha \approx \dots$

(b) Bei der Testkonzeption sollte man den Fehler 2. Art auch im Auge behalten. Wir gehen hier von einer vom Kandidaten behaupteten Trefferquote von $p_k=0.9$ aus. Bestimme für die in Aufgabenteil (a) ermittelten Mindesttrefferanzahlen und die behauptete Trefferquote auch den jeweilgen Fehler 2. Art.

(c) Für welches Testszenario sollten die Skeptiker sich entscheiden? Diskutiere die jeweiligen Vor- und Nachteile (aus Sicht der Skeptiker / aus Sicht des Kandidaten).

Zur Kontrolle

$n$ Anzahl der Wiederholungen	$k$ Mindestanzahl der Treffer	Fehler 1. Art Bedingung: $\alpha \le 0.0001$	Fehler 2. Art bei einer Trefferquote $p_k=0.9$
$n=30$	$k=26$	$\alpha \approx 0.00003$	$\beta \approx 0.1755$
$n=40$	$k=32$	$\alpha \approx 0.00009$	$\beta \approx 0.0155$
$n=50$	$k=39$	$\alpha \approx 0.00005$	$\beta \approx 0.0033$

Das Testszenario mit $n=50$ ist für Kandidat(inn)en fairer, da die Wahrscheinlichkeit hier größer ist, den Test zu bestehen, wenn sie die Fähigkeit im behaupteten Umfang haben.

Interessant ist ein Vergleich mit dem von den Skeptikern benutzten Szenario im Video. Die Skeptiker benutzen für P.T. eine Wiederholungszahl $n=50$ und eine Mindesttrefferanzahl $k=40$. Sie verlangen vom Kandidaten somit einen Treffer mehr als die Mindestzahl, die sich aus dem Signifikanzniveau von $0.01\mathrm{\%}$ für den Fehler 1. Art ergibt. Was ist der Grund hierfür? Das Überprüfungsverfahren der Skeptiker besteht aus zwei Testteilen. Wir haben hier nur den ersten Test betrachtet. Wenn ein(e) Kandidat(in) diesen ersten Test besteht, dann folgt darauf ein zweiter ähnlich konzipierter Test. Um ein für alle Kandidat(inn)en faires Verfahren zu garantieren, wird darauf geachtet, dass der Fehler 1. und 2. Art für den Gesamttest in etwa gleich ist.