Einstieg

Die Ausgangssituation klären

Die folgende (KI-generierte) Abbildung verdeutlicht zugespitzt zwei Positionen zum Lernen mit KI.

Wem würdest du eher zustimmen? Was sind deine Erfahrungen bei der Verwendung von KI beim Lernen?

Die Forschungslage zum Lernen mit KI ist derzeit noch unklar. Drei Forscherteams A, B und C wollen es genauer wissen. Sie wollen folgende Forschungsfragen untersuchen:

Forschungsteam A	Forschungsteam B	Forschungsteam C
Verbessert KI den Lernerfolg?	Verschlechtert KI den Lernerfolg?	Verändert KI den Lernerfolg?

Aufgabe 1

Vergleiche die Fragestellungen der Forscherteams. Was lässt sich hieraus über die Vermutungen der Forscherteams sagen?

Aufgabe 2

Die drei Forscherteams vereinbaren, die Fragestellungen mit Hypothesentests (soweit wie möglich) zu klären. Hierzu erstellen sie einen Test, der vorab mit einer größeren Referenzgruppe durchgeführt wird, die ohne KI gelernt hat. Diese Referenzgruppe hat $60 \%$ der Testaufgaben richtig bearbeitet. Eine Testgruppe soll nach einer Lernphase mit KI den Test ebenfalls durchführen. Noch ist unklar, wie groß der Anteil $p$ der richtig bearbeiteten Testaufgaben in dieser Gruppe ist.

Die Forscherteams müssen jetzt ihre Forschungsfragen in präzise Hypothesen überführen. Sie verwenden dabei zwei Hypothesen, um ihr Anliegen zu beschreiben.

Die Nullhypothese $H_0$ beschreibt den Zustand, an dem festgehalten wird, solange die Stichprobe keinen ausreichenden Grund liefert, davon abzuweichen. Die Alternativhypothese $H_1$ beschreibt die Behauptung, die mit dem Test überprüft werden soll.

Erkläre die bereits vorgegebenen Einträge zu den Hypothesen von Forschungsteam A. Ergänze analog die Hypothesen der beiden anderen Forschungsteams.

Forschungsteam A	Forschungsteam B	Forschungsteam C
$H_0: p = 0.6$ $H_1: p > 0.6$	$H_0:$ $H_1:$	$H_0:$ $H_1:$

Aufgabe 2

Die drei Forscherteams vereinbaren, die Fragestellungen mit Hypothesentests (soweit wie möglich) zu klären. Hierzu erstellen sie einen Test, der vorab mit einer größeren Referenzgruppe durchgeführt wird, die ohne KI gelernt hat. Diese Referenzgruppe hat $60 \%$ der Testaufgaben richtig bearbeitet. Eine Testgruppe soll nach einer Lernphase mit KI den Test ebenfalls durchführen. Noch ist unklar, wie groß der Anteil $p$ der richtig bearbeiteten Testaufgaben in dieser Gruppe ist.

Die Ausgangssituation analysieren

Aufgabe 2

Kläre die Ausgangssituation:

(a) Was behauptet der Kandidat H.K.? Was vermuten die Skeptiker? Welches Verfahren schlagen die Skeptiker vor, um die Behauptung des Kandidaten zu überprüfen?

(b) Warum handelt es sich aus Sicht der Skeptiker bei der Aussage des Kandidaten um eine Behauptung? Warum handelt es sich bei der gegenteiligen Aussage der Skeptiker um eine Hypothese?

Ausgangssituation - ein fiktiver Dialog

Kandidat H.K.	Skeptiker
Behauptung: Ich kann Wasser mit Stäben erspüren.
	Hypothese: Wir sind da sehr skeptisch und glauben nicht, dass Sie das können – zumindest nicht besser als jemand, der nur rät.
	experimentelles Vorgehen: Wir wollen das genauer untersuchen. Hierfür schlagen wir folgendes Experiment vor: Sie sollen 13-mal Wasser suchen, das in einem von 10 Eimern versteckt ist. Mindestens 7-mal müssen sie richtig liegen, um den Test zu bestehen.
Zustimmung: Gut, ich werde es versuchen.

Das Testergebnis auswerten – Fall A

Aufgabe 3

Betrachte den im Video gezeigten Fall, dass der Kandidat den Test nicht bestanden hat.

(a) Warum sagen die Skeptiker nicht, dass ihre Hypothese bei diesem Testergebnis bewiesen ist? Warum ist die Sprechweise „die Hypothese beibehalten“ besser geeignet ist, um den Erkenntnisstand zu beschreiben?

(b) Welcher Fehler kann in diesem Fall auftreten?

Situation - den Test auswerten, wenn er nicht bestanden wurde

Kandidat H.K.	Skeptiker
	Testergebnis: Es hat leider nicht geklappt. Sie haben den Test nicht bestanden.
	Hypothese beibehalten / die Behauptung weiterhin bezweifeln: Wir bleiben bei unserer Skepsis und glauben weiterhin nicht, dass Sie das können.
Zu Hause hat es aber fast immer funktioniert.	Fehler 2. Art (falsch negativ): Es ist durchaus möglich, dass Sie Pech hatten und den Test nicht bestehen, obwohl ihre Behauptung stimmt.

Das Testergebnis auswerten – Fall B

Aufgabe 4

Wie spielen auch den Fall durch, dass der Kandidat den Test besteht.

(a) Warum sagen die Skeptiker nicht, dass bei diesem Testergebnis bewiesen ist, dass der Kandidat über die behauptete Fähigkeit verfügt? Warum ist die Sprechweise „die Hypothese verwerfen“ besser geeignet ist, um den Erkenntnisstand zu beschreiben?

(b) Welcher Fehler kann in diesem Fall auftreten?

Situation - den Test auswerten, wenn er bestanden wurde

Kandidat H.K.	Skeptiker
	Testergebnis: Sie haben den Test bestanden.
	Hypothese verwerfen / die Behauptung akzeptieren: Gut, dann müssen wir wohl unsere Hypothese aufgeben und anerkennen, dass Sie die behauptete Fähigkeit haben.
Ich habe doch schon gesagt, dass ich das kann.	Fehler 1. Art (falsch positiv): Ein kleiner Zweifel bleibt aber immer noch. Sie könnten den Test bestanden haben, obwohl die Behauptung nicht stimmt.