Was ist Entropie in der Stochastik und wie nutzt man sie?

Erste Frage Aufrufe: 1035     Aktiv: 11.11.2019 um 11:41
Jetzt Frage stellen
0

Hallo,

ich bin Informatik-Student. In meinem Studiengang tauchte in der Stochastik der Begriff Entropie auf. Es ist da Maß für die Ungewissheit. Die Einheit ist davon Bit, wenn man in folgender Berechnungsformel für den Logarithmus die Basis 2 setzt:

\( H(X) = - \sum_{i=0}^n (p_{i} * log (p_{i})) \)

X ist eine Zufallsgröße

\( p_{i}\) ist die i-te Wahrscheinlichkeit, auch bekannt als \( P(X=x_{i}) z.B. P(X=1) = \frac {1} {6} \)

Meine Fragen sind jetzt: Wo kommt die Entropie bei Anwendungsaufgaben zum Einsatz? Was hat Informationsgewinn damit zu tun?

Beispielaufgabe zu Informationsgewinn aus einem aufgabenblatt zur Entropie:

Sie sollen eine dreistellige Zahl errraten (111 bis 999). Wieviel Informationsgewinn gibt Ihnen die zusätzliche Auskunft, dass die Quersumme der gesuchten Zahl gleich 11 ist?

Wie löst man diese Aufgabe?

 

Danke

Mit freundlichen Grüßen,

Mortex

 

 

Diese Frage melden
gefragt

Student, Punkte: 10

 
Kommentar schreiben
1 Antwort
0
Wenn ich das richtig verstanden habe ist die Entropie in der Informatik ( wenn man den 2er Logarithmus verwendet) die Anzahl der Bits die man brauch um etwas zu kodieren. In dem Fall deiner Aufgabe gehst du am Anfang von einer Gleichverteilung aus.. Es sind liegen 889 Zahlen zwischen 111 und 999. Das heißt \(p_i\) = \(\frac{1}{889}\) für alle i ( in diesem Fall 889). Sobald du weißt , dass die Zahl die Quersumme 11 hat, falle sehr viele der 889 Zahlen weg und die \(p_i\) ändern sich und auch die Anzahl der i, da nur noch weniger in Frage kommen. ich hoffe das ist verständlich und hilft-
Diese Antwort melden
geantwortet

Student, Punkte: 85

 

Kommentar schreiben

Jetzt Antwort schreiben