/
stat-tests-preface-theory.qmd
125 lines (97 loc) · 12.3 KB
/
stat-tests-preface-theory.qmd
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
# Testen von Hypothesen {#sec-statistisches-testen}
*Letzte Änderung am `r format(fs::file_info("stat-tests-preface-theory.qmd")$modification_time, '%d. %B %Y um %H:%M:%S')`*
```{r echo = FALSE}
pacman::p_load(tidyverse, readxl, knitr, kableExtra, broom,
see, patchwork, ggbeeswarm, ggforce, latex2exp)
```
> *"Das ist die Logik der Forschung, die nie verifizieren, sondern immer nur jene Erklärungen beibehalten kann, die beim derzeitigen Erkenntnisstand am wenigsten falsifiziert sind." --- Wößmann, L.*
{{< video https://youtu.be/h45ftLNsspM >}}
Das statistische Hypothesentesten - eine Geschichte voller Missverständnisse. Wir wollen uns in den folgenden Kapiteln mit den Grundlagen des frequentistischen Hypothesentestens beschäftigen. Wenn ich hier einen Unterschied mache, dann muss es ja auch noch ein anderes Hypothesentesten geben. Ja, das nennt man dann bayesianische Statistik und kommt eventuell mal später. Wir konzentrieren uns aber zuerst auf frequentistische Hypothesentesten was seit gut hundert Jahren genutzt wird. Beginnen wir mit der Logik der Forschung oder allgemeiner formuliert, als die Grundlage der Wissenschaft. Wir basieren all unsere Entscheidungen in der Wissenschaft auf dem Falsifikationsprinzip. Also bitte merken, wir können nur ablehnen (eng. *reject*). Wir ersetzen schlechte Modelle (der Wirklichkeit) durch weniger schlechte Modelle (der Wirklichkeit) -- das ist die Logik der Forschung. Forschung basiert auf dem Falsifikationsprinzip. Wir können *nur ablehnen* und behalten das weniger schlechte Modell bei.
Wir wollen hier auf keinen Fall die Leistungen von Altvorderen schmälern. Dennoch hatten [Ronald Fischer (1890 - 1962)](https://en.wikipedia.org/wiki/Ronald_Fisher), als der Begründer der Statistik, andere Vorraussetzungen als wir heutzutage. Als wichtigster Unterschied sei natürlich das Gerät genannt, an dem du gerade diese Zeilen liest: dem Computer. Selbst die Erstellung einfachster Abbildungen war sehr, sehr zeitaufwendig. Die Berechnung von Zahlen lohnte sich mehr, als die Zahlen zu visualisieren. Insbesondere wenn wir die Explorative Datenanalyse nach [John Tukey (1915 - 2000)](https://en.wikipedia.org/wiki/John_Tukey) durchführen. Undenkbar zu den Zeiten von Ronald Fischer mehrere Abbildungen unterschiedlich nach Faktoren einzufärben und sich die Daten *anzugucken*.
Neben dieser Begrenzung von moderner Rechenkapazität um 1900 gab es noch eine andere ungünstige Entwicklung. Stark vereinfacht formuliert entwickelte Ronald Fischer statistische Werkzeuge um abzuschätzen wir wahrscheinlich die Nullhypothese unter dem Auftreten der beobachteten Daten ist. Nun ist es aber so, dass wir ja auch eine Entscheidung treffen wollen. Nach der Logik der Forschung wollen wir ja eine Hypothese falsifizieren, in unserem Fall die Nullhypothese. Die Entscheidungsregeln, also die statistische Testtheorie, kommen nun von [Jerzy Neyman (1894 - 1981)](https://en.wikipedia.org/wiki/Jerzy_Neyman) und [Egon Pearson (1895 - 1980)](https://en.wikipedia.org/wiki/Egon_Pearson), beide als die Begründer der frequentistischen Hypothesentests.
Schlussendlich gibt es noch eine andere Strömung in der Statistik, die auf den mathematischen Formeln von [Thomas Bayes (1701 - 1761)](https://en.wikipedia.org/wiki/Thomas_Bayes) basieren. In sich eine geschlossene Theorie, die auf der *inversen* Wahrscheinlichkeit basiert. Das klingt jetzt etwas schräg, aber eigentlich ist die bayesianische Statistik die Statistik, die die Fragen um die Alternativehypothese beantwortet. Der Grund warum die bayesianische Statistik nicht angewendet wurde, war der Bedarf an Rechenleistung. Die bayesiansiche Statistik lässt sich nicht händisch in endlicher Zeit lösen. Dieses *technische* Problem haben wir aber nicht mehr. Eigentlich könnten wir also die bayesiansiche Statistik verwenden. Wir wollen hier aber (noch) nicht auf die bayesianische Statistik eingehen, das werden wir später tun. Wenn du allgemein Interesse hast an der Geschichte der Statistik dann sei auf @salsburg2001lady verwiesen. Ein sehr schönes Buch, was die *geschichtlichen* Zusammenhänge nochmal aufzeigt.
Wenn du mehr über die aktuellen Entwicklungen erfahren willst, dann ist @gigerenzer2004null ein guter Einstieg. Zum Teil kommt @gigerenzer2004null auch in meinen Vorlesungen vor, aber nicht explizit sondern eher als Hintergrundrauschen. Das wir ein Problem mit dem statistischen Testen und im Besonderen mit dem $p$-Wert haben, diskutiert @wasserstein2019moving als Eröffnungsartikel in der Artikelserie [Statistical Inference in the 21st Century: A World Beyond p \< 0.05](https://www.tandfonline.com/toc/utas20/73/sup1). Aber das ist nun wirklich nur was für Interessierte.
::: callout-note
## Beispiel: Bin ich im Urlaub?
Hier nochmal zusammengefasst die Idee der frequentistischen Testtheorie anhand der Frage, ob ich im Urlaub bin. Du versteht die Idee vielleicht besser, wenn du dich einmal durch die folgenden Kapitel gearbeitet hast. Ja gearbeitet, nur lesen ist dann einfach zu wenig.
- Bin ich im Urlaub?
- Wie wahrscheinlich bin ich im Urlaub? $Pr(U)$
- Wie wahrscheinlich bin ich nicht im Urlaub? $Pr(\bar{U})$
- Wie wahrscheinlich sind wir nicht im Urlaub? $Pr(\bar{U})$
- Wie wahrscheinlich ist es, die Daten $D$ zu beobachten, wenn wir nicht im Urlaub sind? $Pr(D|\bar{U})$
Wir würden meinen, dass wir die Frage "Bin ich im Urlaub?" beantworten können. Das stimmt aber nicht. Durch das Falsifikationsprinzip können wir nur eine Aussage über "nicht-im-Urlaub-sein" treffen. Darüber hinaus können wir keine Entscheidungen per se treffen sondern erhalten eine Wahrscheinlichkeitsaussage. Um die Sachlage noch komplizierter zu machen, treffen wir Aussagen über eine Population. Also sind *wir* im nicht im Urlaub. Abschließend treffen wir eine Aussage über die beobachteten Daten und können dann eine Wahrscheinlichkeit berechnen diese Daten beobachtet zu haben, wenn wir nicht im Urlaub sind.
1) Wir machen Aussagen über Wahrscheinlichkeiten!
2) Wir machen Aussagen über Populationen!
3) Wir machen Aussagen über den Nicht-Zustand/Keinen Effekt!
:::
Die *frequentistische Statistik* basiert - wie der Name andeutet - auf Wiederholungen in einem Versuch. Daher der Name frequentistisch. Also eine Frequenz von Beobachtungen. Ist ein wenig gewollt, aber daran gewöhnen wir uns schon mal. Konkret, ein Experiment welches wir frequentistisch Auswerten wollen besteht immer aus biologischen Wiederholungen. Wir müssen also ein Experiment planen in dem wir wiederholt ein Outcome an vielen Tieren, Pflanzen oder Menschen messen. Auf das Outcome gehen wir noch später ein. Im Weiteren konzentrieren wir uns hier auf die *parametrische* Statistik. Die parametrische Statistik beschäftigt sich mit Parametern von Verteilungen.
Nehmen wir das Beispiel, dass wir die Sprungweite von Hunde- und Katzenflöhen vergleichen wollen. Wir können nicht *alle* Hunde- und Katzenflöhe messen. Wir können nur eine Stichprobe an Daten $D$ erheben. Über diese Daten $D$ können wir dann später durch statistische Algorithmen eine Aussage treffen. Wichtig ist hier sich zu merken, dass wir eine Grundgesamtheit haben aus der wir eine Stichprobe ziehen. Wir müssen darauf achten, dass die Stichprobe *repräsentativ* ist und damit *strukturgleich* zur Grundgesamtheit ist. Die Strukturgleichkeit erreichen wir durch Randomisierung. Wir veranschaulichen diesen Zusammenhang in @fig-grundgesamtheit-schema. Ein Rückschluss von der Stichprobe ist nur möglich, wenn die Stichprobe die Grundgesamtheit repräsentiert. Auch eine Randomisierung mag dieses Ziel nicht immer erreichen. Im Beispiel der Hundeflöhe könnte wir eine Art an Flöhen übersehen und diese Flohart nicht mit in die Stichprobe aufnehmen. Ein Rückschluß auf diese Flohart wäre dann mit unserem Experiment nicht möglich.
```{r}
#| echo: false
#| message: false
#| warning: false
#| label: fig-grundgesamtheit-schema
#| fig-align: center
#| fig-height: 4
#| fig-width: 7
#| fig-cap: "Abbildung über die Grundgesamtheit und der Stichprobe $D$. Durch Randomisierung wird Sturkturgleichheit erreicht, die dann einen Rückschluß von der Stichprobe auf die Grundgesamtheit erlaubt. Jede Stichprobe ist anders und nicht jede Randomisierung ist erfolgreich was die Strukturgleicheit betrifft. Die Berechnung der Teststatistik $T_D$ aus den Daten $D$ erfolgt nicht direkt sondern über statistische Maßzahlen aus der deskriptiven Statistik. *[Zum Vergrößern anklicken]*"
set.seed(20240407)
truth_tbl <- tibble(grp = as_factor("truth"),
x = rnorm(200, 20, 7),
y = rnorm(200, 25, 7),
color = as_factor(sample(1:6, 200, replace = TRUE)),
shape = as_factor(sample(1:4, 200, replace = TRUE)))
data_tbl <- tibble(grp = as_factor("data"),
x = rnorm(12, 90, 2),
y = rnorm(12, 35, 2),
color = as_factor(sample(1:3, 12, replace = TRUE)),
shape = as_factor(sample(1:2, 12, replace = TRUE)))
bind_rows(truth_tbl,
data_tbl) |>
ggplot(aes(x, y)) +
theme_void() +
geom_jitter(aes(fill = color, shape = shape), size = 4, width = 5, height = 5) +
annotate("text", x = 58, y = 60, label = "Randomisierung", size = 5, fontface = 2) +
annotate("text", x = 58, y = 56.5, label = "(Strukturgleichheit)", size = 5, fontface = 3) +
geom_curve(x = 33, y = 90-45, xend = 85, yend = 85-45,
arrow = arrow(length = unit(0.01, "npc"), type = "closed"),
curvature = -0.4, color = "black", linewidth = 0.5) +
geom_curve(x = 91, y = 16, xend = 33, yend = 4,
arrow = arrow(length = unit(0.01, "npc"), type = "closed"),
curvature = -0.4, color = "black", linewidth = 0.5) +
geom_curve(x = 91, y = 31, xend = 91, yend = 24,
arrow = arrow(length = unit(0.01, "npc"), type = "closed"),
curvature = -0.1, color = "black", linewidth = 0.5) +
annotate("text", x = 20, y = 53, label = "Grundgesamtheit", size = 5, fontface = 2) +
geom_ellipse(aes(x0 = 20, y0 = 25, a = 22, b = 25, angle = 0), color = "black") +
annotate("text", x = 93, y = 47, label = "Stichprobe", size = 5, fontface = 2) +
annotate("text", x = 93, y = 43.5, label = "Daten (D)", size = 5, fontface = 3) +
geom_ellipse(aes(x0 = 91, y0 = 36, a = 7, b = 5, angle = 0), color = "black") +
annotate("text", x = 91, y = 22, label = "Teststatistik", size = 5, fontface = 2) +
annotate("label", x = 91, y = 15, label = expression(T[D]), size = 7) +
annotate("text", x = 58, y = 4, label = "Rückschluß", size = 5, fontface = 2) +
annotate("text", x = 58, y = 0, label = expression(Gilt~die~H[0]*"?"),
size = 5, fontface = 3) +
geom_curve(x = 84, y = 36, xend = 65, yend = 34,
arrow = arrow(length = unit(0.01, "npc"), type = "closed"),
curvature = 0.6, color = "gray45", linewidth = 0.5) +
geom_curve(x = 65, y = 23, xend = 87, yend = 15,
arrow = arrow(length = unit(0.01, "npc"), type = "closed"),
curvature = 0.5, color = "gray45", linewidth = 0.5) +
annotate("label", x = 65, y = 28, label = "Deskriptive\nStatistik", size = 5,
fontface = 2, color = "gray45") +
scale_x_continuous(limits = c(-3, 100)) +
scale_y_continuous(limits = c(-7, 60)) +
scale_shape_manual(values = 21:24) +
theme(legend.position = "none") +
scale_fill_okabeito()
```
@tbl-grundgesamtheit-stichprobe zeigt nochmal die Zusammenfassung von der Grundgesamtheit un der Stichprobe im Vergleich. Wichtig ist zu merken, dass wir mit unserem kleinen Experiment Daten $D$ generieren mit denen wir einen Rückschluß und somit eine Verallgemeinerung erreichen wollen.
| Grundgesamtheit | Stichprobe |
|-----------------------------------------------------------|------------------------------------------------------|
| ... $n$ ist riesig bis unfassbar. | ... $n_1$ von $D_1$ ist klein. |
| ... der Mittelwert wird mit $\mu_y$ beschrieben. | ... der Mittelwert wird mit $\bar{y}$ beschrieben. |
| ... die Varianz wird mit $\sigma^2$ beschrieben. | ... die Varianz wird mit $s^2$ beschrieben. |
| ... die Standardabweichung wird mit $\sigma$ beschrieben. | ... die Standardabweichung wird mit $s$ beschrieben. |
: Vergleich von Grundgesamtheit und Stichprobe. {#tbl-grundgesamtheit-stichprobe}
## Referenzen {.unnumbered}