Du hast eine ANOVA gerechnet – und sie war signifikant! Jetzt willst Du natürlich wissen, welche Gruppen sich genau unterscheiden. Der erste Impuls: Einfach ein paar t-Tests zwischen den Gruppen machen. Aber Achtung!
Alpha-Fehler-Inflation
Wenn man mehrere Hypothesentests gleichzeitig durchführt, steigt die Wahrscheinlichkeit, dass man mindestens einmal einen Fehler 1. Art (fälschlich signifikantes Ergebnis) macht – also den sogenannten Alpha-Fehler.
Ein einfaches Beispiel:
Du vergleichst drei Gruppen (A, B, C). Um alle möglichen Unterschiede zu testen, brauchst Du drei t-Tests:
- A vs. B
- A vs. C
- B vs. C
Wenn Du bei jedem Test ein Signifikanzniveau von $\alpha = 0{,}05$ wählst, liegt die Wahrscheinlichkeit, dass mindestens einer dieser Tests fälschlich signifikant ist, deutlich über 5 %.
Genauer gesagt: Fehlerwahrscheinlichkeit=$\text{Fehlerwahrscheinlichkeit} = 1 – (1 – \alpha)^k$
Dabei ist $k$ die Anzahl der Tests. Bei drei Tests: $(1 – 0{,}05)^3 \approx 0{,}141$
Also eine 14 % Wahrscheinlichkeit, dass Du ein zufällig signifikantes Ergebnis bekommst, obwohl es keinen echten Unterschied gibt!
Wie kann man die Alpha-Fehler-Inflation vermeiden?
Deshalb gibt’s Post-Hoc-Tests, die die Alpha-Fehler-Kumulierung kontrollieren, z. B.:
- Tukey HSD (für alle paarweisen Vergleiche bei gleicher Gruppengröße)
- Bonferroni-Korrektur (konservativ, einfach umzusetzen)
- Scheffé-Test (für beliebige Kontraste)
Diese Tests passen das Signifikanzniveau an oder berechnen angepasste p-Werte, damit Du keine falschen Schlüsse ziehst.
Kurz gesagt:
Wenn Du mehrere Gruppen vergleichen willst, mach zuerst eine ANOVA.
Wenn diese signifikant ist: Verwende Post-Hoc-Tests, aber bitte nicht einfach viele t-Tests! Sonst tappst Du in die Falle der Alpha-Fehler-Inflation.