Frage von dreamerdk, 42

Wie Entropie (Stochastik) nachweisen?

Hallo, es geht um folgende Aufgabe, für die ich einen Ansatz/Hinweis bräuchte:

Von einer Firma wird ein spezieller Code entwickelt, mit dem zwei Maschinen kommunizieren. Dabei wird angenommen, dass die Auftrittswahrscheinlichkeit x der einzelnen Codewörter näherungsweise so gewählt werden kann, dass x gemäß der Verteilung mit Dichtefunktion

f(x)=1/(2η) exp( -1/η |x-m|)

und Parametern η>0 sowie m € R verteilt ist.

Der Parameter η soll so bestimmt werden, dass die Entropie maximal wird.

a) Zeigen Sie, dass für die Entropie der gegebenen Verteilung gilt H(x)=1+ln(2η)

b) Wie muss η gewählt werden, damit die Entropie möglichst groß wird?(Begründung ohne Rechnung)

Expertenantwort
von PWolff, Community-Experte für Mathe & Mathematik, 29

a) Welche Information fehlt dir noch zusätzlich zu den Informationen auf https://de.wikipedia.org/wiki/Entropie_%28Informationstheorie%29 ?

b) Welche Monotonieintervalle hat der Logarithmus?

Antwort
von DoTheBounce, 23

Die Verteilung ist eine Laplaceverteilung.

a) Für die gibt es eigentlich keine Entropie, lediglich die differentielle Entropie (insofern ist die Aufgabenstellung eigentlich falsch). Um die diff. Entropie zu berechnen, musst du einfach die Dichte in die Formel einsetzen und das Integral ausrechnen.

b) Die Formel hast du ja schon in Aufgabe a gegeben ...

Keine passende Antwort gefunden?

Fragen Sie die Community

Weitere Fragen mit Antworten