Zusammenfassung – Ein- und zweiseitige Hypothesentests

Ausgangssituation und Fragestellungen

Die folgende (KI-generierte) Abbildung verdeutlicht zugespitzt zwei Positionen zum Lernen mit KI.

Die Forschungslage zum Lernen mit KI ist noch unklar. Drei Forscherteams A, B und C wollen es genauer wissen. Sie wollen folgende Forschungsfragen untersuchen:

Forscherteam A	Forscherteam B	Forscherteam C
Verbessert KI den Lernerfolg?	Verschlechtert KI den Lernerfolg?	Verändert KI den Lernerfolg?

Die Forscherteams vereinbaren, die Fragestellungen mit Hypothesentests (soweit wie möglich) zu klären. In der folgenden Übersicht sind ihre Vorüberlegungen aufgeführt.

Forscherteam A	Forscherteam B	Forscherteam C
Fragestellung: Verbessert KI den Lernerfolg?	Fragestellung: Verschlechtert KI den Lernerfolg?	Fragestellung: Verändert KI den Lernerfolg?
Klärungsstrategie: Wir gehen von der Grundannahme aus, dass KI keinen Einfluss auf den Lernerfolg hat. Mit unserem Testverfahren wollen wir herausfinden, ob es Belege dafür gibt, dass KI den Lernerfolg verbessert.	Klärungsstrategie: Wir gehen von der Grundannahme aus, dass KI keinen Einfluss auf den Lernerfolg hat. Mit unserem Testverfahren wollen wir herausfinden, ob es Belege dafür gibt, dass KI den Lernerfolg verschlechtert.	Klärungsstrategie: Wir gehen von der Grundannahme aus, dass KI keinen Einfluss auf den Lernerfolg hat. Mit unserem Testverfahren wollen wir herausfinden, ob es Belege dafür gibt, dass KI den Lernerfolg verändert.
Nullhypothese: KI hat keinen Einfluss auf den Lernerfolg hat. Behauptung bzw. Alternativhypothese: KI verbessert den Lernerfolg.	Nullhypothese: KI hat keinen Einfluss auf den Lernerfolg hat. Behauptung bzw. Alternativhypothese: KI verschlechtert den Lernerfolg.	Nullhypothese: KI hat keinen Einfluss auf den Lernerfolg hat. Behauptung bzw. Alternativhypothese: KI verändert den Lernerfolg.

Beachte, dass alle drei Forscherteams von derselben Nullhypothese ausgehen. Die Alternativhypothesen unterscheiden sich, da die Forscherteams unterschiedliche Fragestellungen untersuchen.

Beim Aufstellen der Hypothesen verwenden die Forscherteams folgende allgemeine Strategie:

Entwicklung des Testverfahrens

Um die Nullhypothese ($H_0$: KI kat keinen Einfluss auf das Lernverhalten) präzisieren zu können, müssen die Forsccherteams erst einmal den Lernerfolg ohne KI erfassen. Hierzu erstellen sie einen Test, der vorab mit einer größeren Referenzgruppe durchgeführt wird, die ohne KI gelernt hat. Wir gehen hier davon aus, dass in dieser Referenzgruppe $60 \%$ der Teilnehmer:innen den Test bestanden hat.

Um den Lernerfolg mit KI beurteilen zu können, soll der Test ebenfalls in einer Testgruppe, die mit KI gelernt hat, durchgeführt werden. Noch ist unklar, wie groß die Bestehenswahrscheinlichkeit $p$ in dieser Testgruppe ist.

Die Forscherteams können ihre Hypothesen jetzt weiter präzisieren.

Forscherteam A	Forscherteam B	Forscherteam C
$H_0: p = 0.6$ $H_1: p > 0.6$ KI verbessert den Lernerfolg	$H_0: p = 0.6$ $H_1: p \lt 0.6$ KI verschlechtert den Lernerfolg	$H_0: p = 0.6$ $H_1: p \neq 0.6$ KI verändert den Lernerfolg

Die Forscherteams vereinbaren, die Hypothesen mit einem in der Wissenschaft üblichen Signifikanzniveau von $5\%$ zu überprüfen. Das Signifikanzniveau legt die Obergrenze für den Fehler 1. Art ($H_1$ wird akzeptiert, obwohl $H_0$ zutrifft) fest. Mit dieser Obergrenze für den Fehler 1. Art wollen die Forscherteams ihre Behauptungen gegen alle Skeptiker verteidigen können – sofern der Test einen Beleg für ihre Behauptung liefert.

Die Testgruppe, mit der der die Hypothesen überprüft werden sollen, besteht aus $80$ Personen. Die Zufallsgröße $X$ beschreibt die Anzahl der Personen, die den Test besteht. Die Zufallsgröße $X$ ist dann binomialverteilt mit den Parametern $n = 80$ und $p = ?$. Wenn die Nullhypothese $H_0$ zutrifft, dann ist $X$ binomialverteilt mit den Parametern $n = 80$ und $p = 0.6$.

In der folgenden Übersicht sind die Überlegungen zur Entwicklung der Entscheidungsregeln für die drei Forscherteams zusammengefasst.

Forscherteam A	Forscherteam B	Forscherteam C
Hypothesen: $H_0: p = 0.6$ $H_1: p > 0.6$ KI verbessert den Lernerfolg	Hypothesen: $H_0: p = 0.6$ $H_1: p \lt 0.6$ KI verschlechtert den Lernerfolg	Hypothesen: $H_0: p = 0.6$ $H_1: p \neq 0.6$ KI verändert den Lernerfolg
Grundidee: $H_1$ wird akzeptiert, wenn deutlich mehr als $60 \%$ der Testpersonen den Test bestehen.	Grundidee: $H_1$ wird akzeptiert, wenn deutlich weniger als $60 \%$ der Testpersonen den Test bestehen.	Grundidee: $H_1$ wird akzeptiert, wenn entweder deutlich mehr oder deutlich weniger als $60 \%$ der Testpersonen den Test bestehen.
Signifikanzniveau:	Signifikanzniveau:	Signifikanzniveau:
Bestimmung von $b$: Bestimme mit $B_{80; 0.6}$ die kleinste Zahl $b$ mit $P(X > b) \le 0.05$.	Bestimmung von $a$: Bestimme mit $B_{80; 0.6}$ die größte Zahl $a$ mit $P(X \lt a) \le 0.05$.	Bestimmung von $a$ und $b$: Bestimme mit $B_{80; 0.6}$ die größte Zahl $a$ mit $P(X \lt a) \le 0.025$. Bestimme mit $B_{80; 0.6}$ die kleinste Zahl $b$ mit $P(X > b) \le 0.025$.
Entscheidungsregel: $X \le 55$: $H_0$ beibehalten $X \gt 55$: $H_1$ akzeptieren	Entscheidungsregel: $X \ge 41$: $H_0$ beibehalten $X \lt 41$: $H_1$ akzeptieren	Entscheidungsregel: $X \ge 39$ und $X \le 56$: $H_0$ beibehalten $X \lt 39$ oder $X \gt 56$: $H_1$ akzeptieren

Die Grenzen bei den Entscheidungsregeln kann man mit dem folgenden Binomialverteilungstool bestimmen.

Zum Herunterladen: BV-Tool1.ggb

Ausführung des Tests

Der Test wird mit der Testgruppe – bestehend aus $80$ Personen, die KI in der Lernphase benutzt haben – durchgeführt. Wir gehen hier davon aus, dass $56$ Personen den Test bestanden haben. Die Forscherteams bewerten mit diesem Testergebnis ihre Hypothesen.

Forscherteam A	Forscherteam B	Forscherteam C
Hypothesen: $H_0: p = 0.6$ $H_1: p > 0.6$ KI verbessert den Lernerfolg	Hypothesen: $H_0: p = 0.6$ $H_1: p \lt 0.6$ KI verschlechtert den Lernerfolg	Hypothesen: $H_0: p = 0.6$ $H_1: p \neq 0.6$ KI verändert den Lernerfolg
Signifikanzniveau: $P($"$H_1$ akzeptieren | $H_0$ trifft zu"$)$ $\le 5 \%$	Signifikanzniveau: $P($"$H_1$ akzeptieren | $H_0$ trifft zu"$)$ $\le 5 \%$	Signifikanzniveau: $P($"$H_1$ akzeptieren | $H_0$ trifft zu"$)$ $\le 5 \%$
Entscheidungsregel: $X \le 55$: $H_0$ beibehalten $X \gt 55$: $H_1$ akzeptieren	Entscheidungsregel: $X \ge 41$: $H_0$ beibehalten $X \lt 41$: $H_1$ akzeptieren	Entscheidungsregel: $X \ge 39$ und $X \le 56$: $H_0$ beibehalten $X \lt 39$ oder $X \gt 56$: $H_1$ akzeptieren
Ergebnis des Tests: Für $X = 56$ erhält man: Die Behauptung $H_1$: KI verbessert den Lernerfolg wird akzeptiert.	Ergebnis des Tests: Für $X = 56$ erhält man: Die Behauptung $H_1$: KI verschlechtert den Lernerfolg wird nicht akzeptiert.	Ergebnis des Tests: Für $X = 56$ erhält man: Die Behauptung $H_1$: KI verändert den Lernerfolg wird nicht akzeptiert.

Umgang mit Testergebnissen

Der Umgang mit Testergebnissen ist in der Praxis nicht immer seriös. Wir spielen das hier am Beispiel durch.

Forscherteam C ist mit dem Testergebnis nicht zufrieden. Das Team hatte erwartet, dass der Test die Behauptung KI verändert den Lernerfolg bestätigt. Ein Teammitglied macht folgenden Vorschlag: Wir könnten das Signifikanzniveau auf $10 \%$ erhöhen. Dann würde das Testergebnis eine signifikante Abweichung von der Nullhypothese darstellen und man müsste unsere Behauptung akzeptieren.

Bei diesem Vorgehen werden die Testbedingungen nachträglich so eingestellt, dass die Behauptung bestätigt wird. Das ist unseriös und sollte in der wissenschaftlichen Praxis nicht vorkommen. Wir fassen abschließend das Vorgehen bei Testen von Hypothesen zusammen.

Mit einem Hypothesentest kann man keine Aussagen beweisen oder widerlegen. Mit einem Hypothesentest kann man nur prüfen, ob ein beobachtetes Ergebnis noch gut mit einer Grundannahme vereinbar ist oder ob es so ungewöhnlich ist, dass man die Grundannahme verwerfen sollte. Zunächst legt man die Fragestellung, die Hypothesen, das Signifikanzniveau und das Testverfahren fest. Daraus wird die Entscheidungsregel abgeleitet, mit der anschließend die erhobenen Daten beurteilt werden.

• Fragestellung festlegen: Soll eine Verbesserung, eine Verschlechterung oder eine Veränderung untersucht werden?
• Hypothesen formulieren: Welche Grundannahme $H_0$ soll überprüft werden und welche Behauptung $H_1$ steht ihr gegenüber?
• Signifikanzniveau festlegen: Wie groß darf die Wahrscheinlichkeit höchstens sein, $H_0$ zu verwerfen, obwohl sie zutrifft?
• Test konzipieren: z.B.: Wie viele Beobachtungen werden erhoben?

Nach der Auswertung der Daten wird das beobachtete Ergebnis anhand der zuvor festgelegten Entscheidungsregel beurteilt. Es ergeben sich zwei Möglichkeiten:

• Die Daten liefern keinen ausreichenden Grund, $H_0$ zugunsten von $H_1$ zu verwerfen. Das bedeutet jedoch nicht, dass $H_0$ bewiesen ist.
• Das Ergebnis ist unter der Annahme von $H_0$ so ungewöhnlich, dass es als statistischer Hinweis zugunsten von $H_1$ gewertet wird. Damit ist $H_1$ aber nicht bewiesen.

Ausgehend von dem Testergebnis formuliert man, was das für die ursprüngliche Fragestellung bedeutet. Dabei berücksichtigt man die Grenzen des Tests und vermeidet überzogene Schlussfolgerungen.

Ein wesentliches Parameter beim Hypothesentest ist das Signifikanzniveau. Beachte, dass die Wahl des Signifikanzniveaus in der Hand der Testausführenden liegt. Testentwickler verwenden ein sehr niedriges Signifikanzniveau, wenn sie die Rolle der Skeptiker übernehmen und eine Behauptung bezweifeln und mit dem Test widerlegen wollen. Testentwickler tendieren dazu, ein eher hohes Signifikanzniveau zu wählen, wenn sie eine Behauptung bestätigen wollen.