Entropie in Stochastik- was ist die richtige Definition?

... komplette Frage anzeigen

1 Antwort

Die beiden Definitionen widersprechen sich nur scheinbar. 

Erstmal rein mathematisch betrachtet: Information eines Ereignisses ist definiert als I = -log(p_x) wobei p_x die Wahrscheinlichkeit des Ereignisses ist.

Entropie ist definiert als H(X) = summe_x - log(p_x) * p_x 

Also wie in deinem Punkt 1 genau der Erwartungswert der Information. 

Eine hohe Entropie bedeutet also, dass ich bei der Betrachtung eines Zufallsexperiments im Durchschnitt sehr viel Information bekomme. Das ist nur möglich, wenn die "Unordnung" (ich bevorzuge den Begriff "Unsicherheit") der Zufallsvariablen sehr hoch ist. Also: Hohe Entropie = Hohe Unsicherheit.

Deine Folgerung ist falsch. Beim Bernoulli-Experiment ist die Entropie bei p = 0.5 maximal, weil sie die MEISTE Information liefert

Antwort bewerten Vielen Dank für Deine Bewertung
Kommentar von HamiltonJR
25.02.2017, 22:45

In der Musterlösung steht, sie liefert am wenigsten Information, weil Misserfolg und Erfolg genau gleichwahrscheinlich sind... das macht ja auch irgendwo Sinn^^

aber dadurch bin ich verwirrt

0

Was möchtest Du wissen?