Einführung in die Bayessche Statistik

Warum Bayessche Statistik?

Die Bayessche Statistik ist eine alternative Herangehensweise an statistische Inferenz, die sich von der traditionellen frequentistischen Statistik unterscheidet. Sie erlaubt es, Unsicherheiten explizit zu modellieren und Vorwissen in die Analyse einzubeziehen.

Definition: Die Bayessche Statistik basiert auf der Wahrscheinlichkeitsrechnung und verwendet das Bayes-Theorem, um Wissen durch neue Daten zu aktualisieren.

Unterschiede zwischen Frequentistischer und Bayesscher Statistik

Eigenschaft	Frequentistische Statistik	Bayessche Statistik
Betrachtung von Parametern	Fester Wert, unbekannt	Wahrscheinlichkeitsverteilung
Schlussfolgerung	Basierend auf hypothetischen Stichproben	Kombination aus Vorwissen & Daten
Konfidenzintervalle	Aussage über hypothetische Wiederholung	Direkte Wahrscheinlichkeit

Beispiel: Medizinischer Test

Angenommen, ein Test auf eine seltene Krankheit ist zu 99% genau. Ein Patient testet positiv. Wie wahrscheinlich ist es, dass er tatsächlich krank ist? Die Bayessche Statistik erlaubt es, dieses Problem systematisch zu lösen.

Das Bayes-Theorem

Das zentrale Element der Bayesschen Statistik ist das Bayes-Theorem:

$ P(\theta | D) = \frac{P(D | \theta) P(\theta)}{P(D)} $

Bedeutung der Terme:

• Prior $P(\theta)$: Vorwissen über den Parameter $\theta$
• Likelihood $P(D | \theta)$: Wahrscheinlichkeit der Daten gegeben $\theta$
• Posterior $P(\theta | D)$: Aktualisierte Verteilung des Parameters nach Berücksichtigung der Daten
• Normalisierungsfaktor $P(D)$: Gesamtwahrscheinlichkeit der Daten

Visuelles Beispiel: Eine manipulierte Münze?

Stellen wir uns vor, du hast eine Münze, bei der du vermutest, dass sie nicht fair ist. Vor dem Werfen glaubst du, dass sie wahrscheinlich fair ist, aber nicht mit Sicherheit. Du wirfst sie 10-mal und beobachtest 8-mal Kopf.

Schritt 1: Wahl des Priors
Angenommen, wir modellieren unsere Unsicherheit mit einer Beta-Verteilung: $ P(\theta) \sim \text{Beta}(2,2) $

Schritt 2: Berechnung der Likelihood
Die Wahrscheinlichkeit, 8 von 10-mal Kopf zu erhalten, hängt vom wahren $\theta$-Wert ab.

Schritt 3: Berechnung der Posterior-Verteilung
Die neue Verteilung ergibt sich durch Multiplikation von Prior und Likelihood: $ P(\theta | D) \propto P(D | \theta) P(\theta) $

Nach Anwendung des Bayes-Theorems erhält man eine aktualisierte Beta-Verteilung:
$ P(\theta | D) \sim \text{Beta}(10,4) $

Konjugierte Priors

Definition: Ein Prior ist konjugiert, wenn die Posteriorverteilung dieselbe Form wie die Priorverteilung hat.

Likelihood	Konjugierter Prior	Posterior
Binomial	Beta	Beta
Normal (Mittelwert bekannt)	Normal	Normal
Poisson	Gamma	Gamma

Beispiel: Binomialverteilung mit Beta-Prior

Angenommen, eine Firma möchte die Erfolgsquote ihrer neuen Werbekampagne schätzen. Sie geht mit einem Beta(2,2) Prior davon aus, dass der Erfolg häufiger als 50% ist, aber nicht extrem.

Nach 100 Kampagnen sind 70 erfolgreich: $ P(\theta | D) \sim \text{Beta}(2+70, 2+30) $

Glaubwürdigkeitsintervalle (Credible Intervals)

Definition: Ein glaubwürdiges Intervall gibt an, mit welcher Wahrscheinlichkeit sich der wahre Parameterwert in einem bestimmten Bereich befindet.

Im Gegensatz zum frequentistischen Konfidenzintervall, das sich auf hypothetische Stichproben bezieht, gibt ein 95%-Glaubwürdigkeitsintervall direkt an, dass der wahre Wert mit 95% Wahrscheinlichkeit in diesem Bereich liegt.

R-Code zur Veranschaulichung

Hier ein R-Code, um eine Beta-Verteilung vor und nach Datenaktualisierung zu visualisieren:

# Installiere und lade das ggplot2 Paket
install.packages("ggplot2")
library(ggplot2)

# Prior- und Posterior-Verteilungen erzeugen
x <- seq(0, 1, length=100)
prior <- dbeta(x, 2, 2)
posterior <- dbeta(x, 10, 4)

data <- data.frame(x, prior, posterior)

# Plot
ggplot(data, aes(x)) +
  geom_line(aes(y = prior), color = "blue", linetype = "dashed", size = 1.2) +
  geom_line(aes(y = posterior), color = "red", size = 1.2) +
  labs(title = "Bayessche Aktualisierung: Prior vs. Posterior",
       x = "Wahrscheinlichkeit für Kopf",
       y = "Dichte")