Erarbeitung
Zur Orientierung
Ziel ist es, Hypothesentests für folgende Forschungsfragen zu entwerfen und auszuwerten.
| Forschungsteam A | Forschungsteam B | Forschungsteam C |
|---|---|---|
| Verbessert KI den Lernerfolg? | Verschlechtert KI den Lernerfolg? | Verändert KI den Lernerfolg? |
Hypothesen formulieren
Die drei Forscherteams vereinbaren, die Fragestellungen mit Hypothesentests (soweit wie möglich) zu klären. Hierzu erstellen sie einen Test, der vorab mit einer größeren Referenzgruppe durchgeführt wird, die ohne KI gelernt hat. In dieser Referenzgruppe haben $60 \%$ den Test bestanden. Eine Testgruppe soll nach einer Lernphase mit KI den Test ebenfalls durchführen. Noch ist unklar, wie groß die Bestehenswahrscheinlichkeit $p$ in dieser Testgruppe ist.
Die Forscherteams müssen jetzt ihre Forschungsfragen in präzise Hypothesen überführen. Sie verwenden dabei zwei Hypothesen, um ihr Anliegen zu beschreiben.
Die Nullhypothese $H_0$ beschreibt den Zustand, an dem festgehalten wird, solange die Stichprobe keinen ausreichenden Grund liefert, davon abzuweichen.
Die Alternativhypothese $H_1$ beschreibt die Behauptung, die mit dem Test überprüft werden soll.
Aufgabe 1
Erkläre die bereits vorgegebenen Einträge zu den Hypothesen von Forschungsteam A. Ergänze analog die Hypothesen der beiden anderen Forschungsteams.
| Forschungsteam A | Forschungsteam B | Forschungsteam C |
|---|---|---|
|
$H_0: p = 0.6$ $H_1: p > 0.6$ |
$H_0:$ $H_1:$ |
$H_0:$ $H_1:$ |
| $H_0$ wird verworfen und $H_1$ wird akzeptiert, wenn deutlich mehr als $60 \%$ der Testpersonen den Test bestehen. | $H_0$ wird verworfen und $H_1$ wird akzeptiert, wenn deutlich weniger als $60 \%$ der Testpersonen den Test bestehen. | $H_0$ wird verworfen und $H_1$ wird akzeptiert, wenn entweder deutlich mehr oder deutlich weniger als $60 \%$ der Testpersonen den Test bestehen. |
Entscheidungsregeln festlegen
Die Hypothesen sollen mit einer Testgruppe überprüft werden, die aus $80$ Personen besteht. Die Zufallsgröße $X$ beschreibt dabei die Anzahl der Personen, die den Test besteht.
Die Forscherteams vereinbaren ein Signifikanzniveau von $\alpha = 5\%$.
Aufgabe 2
Die drei Forscherteams vereinbaren, die Fragestellungen mit Hypothesentests (soweit wie möglich) zu klären. Hierzu erstellen sie einen Test, der vorab mit einer größeren Referenzgruppe durchgeführt wird, die ohne KI gelernt hat. Diese Referenzgruppe hat $60 \%$ der Testaufgaben richtig bearbeitet. Eine Testgruppe soll nach einer Lernphase mit KI den Test ebenfalls durchführen. Noch ist unklar, wie groß der Anteil $p$ der richtig bearbeiteten Testaufgaben in dieser Gruppe ist.
| Forschungsteam A | Forschungsteam B | Forschungsteam C |
|---|---|---|
|
$X \le 55$: $H_0$ beibehalten $X \gt 55$: $H_1$ akzeptieren |
$X \ge 41$: $H_0$ beibehalten $X \lt 41$: $H_1$ akzeptieren |
$39 \le X \le 56$: $H_0$ beibehalten $X \lt 39$ oder $X \gt 56$: $H_1$ akzeptieren |
Zum Herunterladen: binomialverteilung5.ggb
Zur Überprüfung der Fähigkeiten des Kandidaten H.K. haben die Skeptiker folgendes Experiment vorgesehen:
Der Kandidat H.K. soll 13-mal Wasser mit seinen Stäben suchen, das in einem von 10 Eimern versteckt ist.
Aufgabe 1
(a) Warum handelt es sich aus Sicht der Skeptiker beim vorgeschlagenen Experiment um ein Zufallsexperiment?
(b) Mit welcher Wahrscheinlichkeit trifft der Kandidat den richtigen Eimer aus Sicht der Skeptiker? Ergänze diese Wahrscheinlichkeit bei der Beschreibung der Hypothese. Diese Hypothese wird auch Nullhypothese genannt.
$H_0: p = \dots$
(c) Begründe, dass es sich beim durchzuführenden Experiment aus Sicht der Skeptiker um eine Bernoulli-Kette handelt. Ergänze den folgenden zusammenfassenden Satz:
Aus Sicht der Skeptiker handelt es sich bei dem Experiment um eine Bernoulli-Kette mit den Parametern $n = \dots$ und $p = \dots$.
Der Kandidat vertritt hierbei die Alternativhypothese, dass er besondere Fähigkeiten hat: $H_1: p > 0,1$.
Trefferwahrscheinlichkeiten bestimmen
Der Kandidat landet einen Treffer, wenn er den Eimer mit Wasser richtig bestimmt. Die Zufallsgröße $X$ beschreibt die Anzahl der Treffer bei der Durchführung des Experiments.
Aufgabe 2
Gehe von der Nullhypothese $H_0$ aus, dass der Kandidat den Eimer mit Wasser nur rät. Mit welcher Wahrscheinlichkeit landert er dann $0$ Treffer, $1$ Treffer, $2$ Treffer usw.? Bestimme diese Wahrscheinlichkeiten mit dem folgenden Applet. Stelle hierzu zunächst die Parameter der Binomialverteilung korrekt ein.
Zum Herunterladen: binomialverteilung5.ggb
Fehlerwahrscheinlichkeiten bestimmen
Der Kandidat hat den Test bestanden, wenn er mindestens 7-mal den Eimer mit Wasser richtig bestimmt hat.
Aufgabe 3
(a) Bestimme mit Hilfe des Applets die Wahrscheinlichkeit für den Fehler 1. Art (auch $\alpha$-Fehler), dass der Kandidat den Test besteht und die Nullhypothese daher verworfen wird, obwohl der Kandidat rät (bzw. die Nullhypothese $H_0$ zutrifft).
(b) Es könnte sein, dass der Kandidat tatsächlich Wasser besser mit seinen Stäben ermitteln kann als jemand, der nur rät. Der Kandidat H.P. behauptet zumindest, dass er zu Hause den Eimer mit Wasser in ca. $80\%$ aller Fälle (also mit der Wahrscheinlichkeit von $p_K = 0.8$) richtig vorhersagt. Bestimme mit Hilfe des Applets die Wahrscheinlichkeit für den Fehler 2. Art (auch $\beta$-Fehler), dass der Kandidat den Test nicht besteht und die Nullhypothese daher beibehalten wird, obwohl der Kandidat die Fähigkeit in dem behaupteten Umfang tatsächlich hat (bzw. die Nullhypothese $H_0$ nicht zutrifft).
(c) Deute die in (a) und (b) bestimmten Wahrscheinlichkeiten. Ergänze hierzu die folgenden Sätze:
Fehler 1. Art (falsch positiv
): Wenn $10000$ ratende Kandidaten das Testverfahren durchlaufen, dann müssen die Skeptiker damit rechnen, dass ...
Fehler 2. Art (falsch negativ
): Wenn $100$ Kandidaten mit $80\%$iger Fähigkeitstrefferquote das Testverfahren durchlaufen,
dann müssen die Skeptiker damit rechnen, dass ...
(d) Teste aus, wie sich der Fehler 2. Art verändert, wenn du die Trefferwahrscheinlichkeit des Kandidaten veränderst. Was geschieht, wenn er nur ganz schwache übersinnliche Fähigkeiten hat?
(e) Ein Kandidat beschwert sich: „Solange es einen Fehler 2. Art gibt, ist der Test nicht fair. Ich will, dass dieser Fehler ganz ausgeschlossen wird.“ Nimm dazu Stellung.
Aufgabe 4
Fülle die ersten vier Boxen des Wissensspeichers.
Aufgabe 5
Wir ändern die Entscheidungsregel des Tests der Skeptiker wie folgt ab:
Version 1: Sie sollen 13-mal Wasser suchen, das in einem von 10 Eimern versteckt ist. Mindestens 6-mal müssen sie richtig liegen, um den Test zu bestehen.
Version 2: Sie sollen 13-mal Wasser suchen, das in einem von 10 Eimern versteckt ist. Mindestens 8-mal müssen sie richtig liegen, um den Test zu bestehen.
(a) Erläutere, was diese Änderungen aus Sicht des Kandidaten bzw. aus Sicht der Skeptiker bedeuten.
(b) Bestimme die Fehlerwahrscheinlichkeiten für die abgeänderten Entscheidungsregeln.
