A-priori-Wahrscheinlichkeit

Die A-priori-Wahrscheinlichkeit (auch Anfangswahrscheinlichkeit, Vortest- oder Ursprungswahrscheinlichkeit) ist in den Naturwissenschaften ein Wahrscheinlichkeitswert, der aufgrund von allgemeinem Vorwissen über die Eigenschaften des Systems (zum Beispiel symmetrische Eigenschaften eines Würfels) gewonnen wird. Annahmen über die A-priori-Wahrscheinlichkeiten sind Voraussetzungen bei der Berechnung der bedingten Wahrscheinlichkeit eines zusammengesetzten Ereignisses und beim bayesschen Wahrscheinlichkeitsbegriff.

Die älteste Methode für die Bestimmung von A-priori-Wahrscheinlichkeiten stammt von Laplace: Sofern es keinen expliziten Grund gibt, etwas anderes anzunehmen, wird allen elementaren Ereignissen dieselbe Wahrscheinlichkeit zugeordnet (Indifferenzprinzip). Zum Beispiel sind bei einem Münzwurf die elementaren Ereignisse "Kopf" und "Zahl" a priori gleich wahrscheinlich: Solange man keinen Grund hat, anzunehmen, die Münze sei manipuliert, wird man beiden Ereignissen dieselbe Wahrscheinlichkeit 1/2 zuordnen.

Eine Erweiterung dieses Prinzips ist das Prinzip der maximalen Entropie. Hier wird davon ausgegangen, dass man schon etwas über das System weiß, aber noch nicht alles. Da die (Informations-)Entropie ein Maß für die Unsicherheit des Wissens ist, wird argumentiert, dass die A-priori-Wahrscheinlichkeit dadurch gegeben sein muss, dass ihre Entropie unter den mit dem Wissen verträglichen Wahrscheinlichkeitsverteilungen maximal ist, denn eine andere Verteilung würde zusätzliches Wissen implizieren. Im Fall, dass keine zusätzliche Information vorliegt, reduziert sich dieses Prinzip auf das Indifferenzprinzip.

A-priori-Verteilungen

Folgende Situation ist gegeben: $\theta$ ist ein unbekannter Populationsparameter, der auf der Basis von Beobachtungen $x$ einer Zufallsgröße $X$ geschätzt werden soll.

Gegeben sei eine Verteilung für den Parameter $\theta$, die das Wissen über den Parameter $\theta$ vor der Beobachtung der Stichprobe beschreibt. Diese Verteilung wird A-priori-Verteilung genannt.

Weiterhin sei die bedingte Verteilung der Stichprobe unter der Bedingung $\theta =\theta _{0}$ gegeben, die auch als Likelihood-Funktion bekannt ist.

Aus der A-priori-Verteilung und der Likelihood-Funktion kann mit Hilfe des Satzes von Bayes die A-posteriori-Verteilung berechnet werden, welche grundlegend für die Berechnung von Punktschätzern (siehe Bayes-Schätzer) und Intervallschätzern in der bayesschen Statistik (siehe Glaubwürdigkeitsintervall) ist.

Nichtinformative und informative A-priori-Verteilungen

Eine nichtinformative A-priori-Verteilung ist als eine A-priori-Verteilung definiert, die keinen Einfluss auf die A-posteriori-Verteilung hat. Dadurch erhält man eine A-posteriori-Verteilung, die identisch mit der Likelihood-Funktion ist. Maximum-a-posteriori-Schätzer und Konfidenzintervalle, die mit einer nichtinformativen A-priori-Verteilung gewonnen wurden, sind daher numerisch äquivalent zu Maximum Likelihood-Schätzern und frequentistischen Konfidenzintervallen.

Eine informative A-priori-Verteilung liegt in allen anderen Fällen vor.

Der Begriff der nichtinformativen A-priori-Verteilung sei an einem Beispiel erläutert: Die Zufallsgröße Y sei der mittlere Intelligenzquotient in der Stadt ZZZ. Aufgrund der Konstruktion des Intelligenzquotienten ist bekannt, dass Y normalverteilt ist mit Standardabweichung 15 und unbekanntem Parameter $\mu$. An einer Stichprobe von N Freiwilligen wird der Intelligenzquotient gemessen. In dieser Stichprobe wird ein arithmetisches Mittel von 105 beobachtet.

Eine nichtinformative A-priori-Verteilung ist in diesem Fall gegeben durch

$p(\theta )\propto c$,

wobei $c<\infty$ eine positive, reelle Zahl ist. Auf diese Weise erhält man als A-posteriori-Verteilung eine Normalverteilung mit Mittelwert 105 und Standardabweichung ${\frac {15}{\sqrt {N}}}$. Der Maximum a posteriori-Schätzer für den Mittelwert $\mu$ ist dann 105 (i.e.: das arithmetische Mittel der Stichprobe) und somit identisch zum Maximum-Likelihood-Schätzer.

Eigentliche und uneigentliche A-priori-Verteilungen

An obigem Beispiel kann ein Problem illustriert werden, dass häufig bei der Verwendung nichtinformativer A-priori-Verteilungen auftritt: $p(\theta )\propto c$ definiert eine sogenannte uneigentliche A-priori-Verteilung. Uneigentliche A-priori-Verteilungen sind dadurch gekennzeichnet, dass das Integral der A-priori-Verteilung größer als 1 ist. Daher sind uneigentliche A-priori-Verteilungen keine Wahrscheinlichkeitsverteilungen. In vielen Fällen kann jedoch gezeigt werden, dass die A-posteriori-Verteilung auch bei Verwendung einer uneigentlichen Verteilung definiert ist. Dies trifft zu, wenn

$\int p(\theta |y)\mathrm {d} \theta <\infty$

für alle $y$ gilt. Eine eigentliche A-priori-Verteilung $p(\theta )$ ist dadurch definiert, dass sie unabhängig von den Daten ist und dass ihr Integral den Wert 1 ergibt.

Konjugierte A-priori-Verteilungen

A-priori- und A-posteriori-Verteilung sind konjugiert für eine gegebene Likelihood-Funktion, wenn sie den gleichen Verteilungstyp besitzen.

Ein Beispiel hierfür ist das Binomial-Beta-Modell: $X$ sei eine binomialverteilte Zufallsgröße mit Erfolgswahrscheinlichkeit $p\in (0,1)$ als Parameter. In $N$ Einzelversuchen werden $k$ Erfolge beobachtet. Als A-priori-Verteilung für $p$ wird eine $\mathrm {B} (\alpha ,\beta )$-Verteilung auf $(0,1)$ verwendet. Unter diesen Voraussetzungen ist die A-posteriori-Verteilung eine $\mathrm {B} (\alpha +k,\beta +N-k)$-Verteilung.

Ein weiteres Beispiel ist das Update eines normalverteilten Priors mit einer gaußförmigen Likelihood-Funktion. Die A-posteriori-Verteilung ist dann ebenfalls eine Normalverteilung.

Siehe auch

• A-posteriori-Wahrscheinlichkeit

Literatur

• James O. Berger: Statistical decision theory and Bayesian analysis. Springer Series in Statistics, Springer-Verlag, New York Berlin Heidelberg 1985. ISBN 0-387-96098-8
• Andrew Gelman et al.: Bayesian Data Analysis. Chapman & Hall/CRC, Boca Raton London New York Washington D.C. 2013.