Genauer Unterschied zwischen Probability und Likelihood (Statistik)?
Hallo! Meine Frage bezieht sich auf das statistische Konzept der Likelihood. Ich habe gelernt, dass es einen "perspektivischen" Unterschied zwischen Probability und Likelihood gibt. Dabei beschreibt die Likelihood die Wahrscheinlichkeit, dass bestimmte Parameter in der Bevölkerung existieren, gegeben bestimmte beobachtete Daten --> L(Par.|D). Dahingegen beschreibt die Probability die Wahrscheinlichkeit, dass bestimmte Daten unter Annahme gewisser Parameter beobachtet werden P(D|Par.). Uns wurde dann jedoch für die Likelihood folgende Definition gegeben: „Die Wahrscheinlichkeit der Daten, in Abhängigkeit von den Modellparametern, unter der Annahme, dass das Modell gilt.“ Wäre das aber nicht genau die andere Perspektive, also die Probability? Klar, die beiden Terme werden gleichgesetzt: L(Par.|D) = P(D|Par.), aber wie lässt sich das mit der angeblich so wichtigen Bemerkung vereinbaren, dass Likelihood und Probability eben NICHT das gleiche sind? Vielen Dank!
1 Antwort
Wenn man "likelihood probability" googelt, bekommt man, jedenfalls ich, als erstes http://stats.stackexchange.com/questions/2641/what-is-the-difference-between-likelihood-and-probability, das schon etwas Einblick gibt. Ich versuchs mal mit meinen Worten:
Von probability spricht man, wenn man eine bestimmte Wahrscheinlichkeitsverteilung hat, mit festen Parametern. Dann kann man für jedes Stichprobenergebnis (bei diskreten Verteilungen, z.B. Binomial-Vert.) oder einen Bereich um das Stichprobenergebnis herum (bei kontinuierlichen Verteilungen, z.B. Normal-Vert.) ein Wahrscheinlichkeit angeben, eben die probability. Hier variieren bei einer festen Wahrscheinlichkeitsverteilung die möglichen Stichproben. Alle möglichen Stichprobenergebnisse haben zusammen eine Wahrscheinlichkeit von 100%.
Hat man aber nur eine Verteilungsklasse, aber kennt die Parameter nicht (p bei Binomialvert., µ und s bei Normalvert.), dann kann man bei einem Stichprobenergebnis verschiedene Parametersätze ausprobieren und jeweils die Wahrscheinlichkeit, die probability, dieses Ergebnisses berechnen. Hier variieren bei einem Stichprobenergebnis die Parameter. Das ist dann die Likelihoodfunktion, eine Funktion auf den Parametern, übrigens niemals eine Wahrscheinlichkeit der Parameter! Es ist ja nicht so, dass z.B. bei Binomialverteilung, die Summe dieser Wahrscheinlichkeiten über alle p, die man für möglich hält, 100% ergibt. (Probier das vielleicht mal aus bei 10 Münzwürfen, dabei 3* Kopf, mit p=0,1, 0,2, 0,3, ... Es sollte mich wundern, wenn die Summe dieser 9 Wahrscheinlichkeiten 1 ergibt. Es könnten außerdem noch mehr p in Frage kommen, p=0,15 etc., also Summe gar nicht definiert).
Man benutzt diese Funktion eigentlich nur, um die Parameter zu schätzen, man nimmt nämlich die, die die Likelihoodfunktion maximieren, das ist dann die Maximum Likelihood (ML).
Du schreibst "Dabei beschreibt die Likelihood die Wahrscheinlichkeit, dass bestimmte Parameter in der Bevölkerung existieren". Das kann man so nicht formulieren. Einmal ist es absolut sicher, dass die Parameter existieren - vorausgesetzt das Modell der jeweiligen Wahrscheinlichkeitsverteilung stimmt - es könnte höchstens die Wahrscheinlichkeit sein, dass die Parameter bestimmte Werte haben. Die ist es aber nicht, da wie gesagt die Summe dieser Likelihoods über alle denkbaren Parameter-Werte nicht 1 ergibt.
Ein bisschen klarer jetzt?
Klasse, da waren die entscheidenden Hinweise dabei :) Vielen Dank! Ich habe ja erwähnt, dass unser Prof uns folgende Definition für dieLikelihood gegeben hat:
„Die Wahrscheinlichkeit der Daten, in
Abhängigkeit von den Modellparametern,
unter der Annahme, dass das Modell gilt.“
Das bedeutet, dass in meiner Likelihoodfunktion jeweils die angenommenen Werte der Parameter variiert werden und pro Variation der Wert der Likelihoodfunktion der Wahrscheinlichkeit der Daten unter der Annahme, dass das Modell (in Abhängigkeit der geschätzten Parameter) stimmt, gleicht. Sorry für den sehr umständlichen Satz, aber das wäre im Grunde die Quintessenz, oder?
LG!