Maxmimum Likelihood Schätzer

Aufrufe: 87     Aktiv: 21.07.2021 um 17:25

0
Moin,

Also ich habe die klassische ML Methode angewandt und wollte mal nach Hilfe fragen, ob da wer mal drüber schauen kann, ob das soweit bis dahin korrekt ist.

\( Aufgabe: \) Es seien \( X_1, X_2, ... X_n \) u.i.v mit Werten in \( (0,\infty) \), wobei die Verteilung von \( X_1 \) gegebn ist durch die Dichte: \( f: (0,\infty) \rightarrow \mathbb{R} \) mit
\[  f(x) = \frac{a}{b^a}x^{a-1} \cdot \boldsymbol{1}_{(0,b]}(x) \]
Dabei sind sowohl a > 0 als auch b > 0 unbekannte Parameter, \( \boldsymbol{1}_{(0,b]} \) bezeichnet die Indikatorfunktion des Intervalls (0,b], d.h.
\[ \boldsymbol{1}_{(0,b]}(x) = \begin{cases} 1, & 0 < x \le b \\ 0, & sonst \end{cases} \]
Bestimmen Sie den Maximum-Likelihood-Schätzer T für den Parametervektor (a,b)

1.) Aufstellen der Gleichung
\( L(\theta) = \prod\limits_{i=1}^{n} f_{X_i}(x) = \prod\limits_{i=1}^{n}(\frac{a}{b^a}\cdot x^{a-1}) \)

2.) Logarithmieren
\( \log(L(\theta)) = \sum\limits_{i=1}^{n} \log(f_{X_i}(x))
\\ = \sum\limits_{i=1}^{n} \log(\frac{a}{b^a}\cdot x^{a-1})
\\ = \log(\frac{a}{b^a}) \cdot \sum\limits_{i=1}^{n}\log(x^{a-1})
\\ = \log(\frac{a}{b^a}) \cdot \sum\limits_{i=1}^{n}(a-1)\log(x)
\\ = \log(\frac{a}{b^a})(a-1) \cdot \sum\limits_{i=1}^{n}\log(x) \)

3.) Ableiten (wer weiß wie das tolle Gleichheitszeichen mit ausrufezeichen geht? \( != 0\)
\( \frac{d}{d\theta}\log(L(\theta) = \log(\frac{a}{b^a})(a-1) \cdot \sum\limits_{i=1}^{n}\frac{1}{x} \)

Ist es denn bis hierher korrekt?

EDIT vom 21.07.2021 um 17:25:

Aufgabe 12.4 das andere ist unwichtig.
habe gerade mitgeschrieben. habe versucht die kommentare mitzunehmen, aber es war mal wieeder zu schneell.
Diese Frage melden
gefragt

Punkte: 81

 

hab schon den ersten fehler gefunden:

habe schon den ersten Fehler gefunden:

2.) Logarithmieren
\( \log(L(\theta)) = \sum\limits_{i=1}^{n} \log(f_{X_i}(x))
\\ = \sum\limits_{i=1}^{n} \log(\frac{a}{b^a}\cdot x^{a-1}) = \sum\limits_{i=1}^{n} [\log(\frac{a}{b^a})+\log (x^{a-1})])
\\ = \sum\limits_{i=1}^{n} \log(\frac{a}{b^a}) + \sum\limits_{i=1}^{n}\log (x^{a-1})
\\ = \sum\limits_{i=1}^{n} \log(a) - \sum\limits_{i=1}^{n} a\log(b) + \sum\limits_{i=1}^{n} (a-1)\log (x)
\\ = \sum\limits_{i=1}^{n} \log(a) - \sum\limits_{i=1}^{n} a\log(b) + \sum\limits_{i=1}^{n} [a\log(x) - \log(x)]
\\ = \sum\limits_{i=1}^{n} \log(a) - \sum\limits_{i=1}^{n} a\log(b) + \sum\limits_{i=1}^{n} a\log(x) - \sum\limits_{i=1}^{n} \log(x)
\\ = \log(a)\sum\limits_{i=1}^{n} 1 - a\log(b) \sum\limits_{i=1}^{n} 1 + a \sum\limits_{i=1}^{n} \log(x) - \sum\limits_{i=1}^{n} \log(x) \)
  ─   labis 19.07.2021 um 15:35
Kommentar schreiben
1 Antwort
0
Hallo,

zuerst, es ist nicht $x$ sondern $x_i$. Da wirkt sich nämlich unser Index der Summe drauf aus. Ansonsten ist die Funktion schon mal richtig. Und du hast hier als Parameter $a$ und $b$ und nicht $\theta$

Dann gibt es dieses Logarithmusgesetzt, dass du dort verwendest nicht. 

$$ \log(\frac a {b^a} \cdot x^{a-1}) = \log(\frac a {b^a}) + \log x^{a-1} $$

Damit kannst du die Summe in zwei Summen aufteilen und erhälst

$$ \log(L(a,b)) = n\log(\frac a {b^a}) + (a-1) \sum\limits_{i=1}^n \log(x_i) $$

Um ein Ausrufezeichen über das Gleichheitszeichen zu bekommen, nutze den Befehl \overset , also: \overset{!}{=} $\Leftrightarrow \overset !=$

Noch als Tipp für die Ableitung, den Logarithmusterm $\log( \frac a{b^a})$ kannst du auch noch in eine Summe umschreiben. Das macht es einfacher. Denn die Ableitung ist hier nicht nach $\theta$ sondern nach ..? 

Grüße Christian
Diese Antwort melden
geantwortet

Sonstiger Berufsstatus, Punkte: 28.17K

 

ok, also Notation \( \log(L(a,b)) \). und ja mir ist aufgefallen. Log in der Multiplikation ist ja Summe, nicht das was ich gemacht hab. hahaha. da hab ich auch gerade dran getippt (dauert bei mir etwas mit den befehlen)   ─   labis 19.07.2021 um 15:37

und jetzt noch mal ordentlich

1.) \( L(a,b) = \prod\limits^{n}_{i=1} f_X(x_i) = \) also das i gehgört ja an das kleine x. Da alle X u.i.d. rechnen wir ja mit X_1

2.) Logarithmieren
\( \log(L(\theta)) = \sum\limits_{i=1}^{n} \log(f_{X_i}(x))
\\ = \sum\limits_{i=1}^{n} \log(\frac{a}{b^a}\cdot x_i^{a-1})
\\ = \sum\limits_{i=1}^{n} [\log(\frac{a}{b^a})+\log (x_i^{a-1})]
\\ = \sum\limits_{i=1}^{n} \log(\frac{a}{b^a}) + \sum\limits_{i=1}^{n}\log (x_i^{a-1})
\\ = \sum\limits_{i=1}^{n} \log(a) - \sum\limits_{i=1}^{n} a\log(b) + \sum\limits_{i=1}^{n} (a-1)\log (x_i)
\\ = \sum\limits_{i=1}^{n} \log(a) - \sum\limits_{i=1}^{n} a\log(b) + \sum\limits_{i=1}^{n} [a\log(x_i) - \log(x_i)]
\\ = \sum\limits_{i=1}^{n} \log(a) - \sum\limits_{i=1}^{n} a\log(b) + \sum\limits_{i=1}^{n} a\log(x_i) - \sum\limits_{i=1}^{n} \log(x_i)
\\ = \log(a)\sum\limits_{i=1}^{n} 1 - a\log(b) \sum\limits_{i=1}^{n} 1 + a \sum\limits_{i=1}^{n} \log(x_i) - \sum\limits_{i=1}^{n} \log(x_i)
\\ = \log(a)\cdot n - a\log(b)\cdot n + a \sum\limits_{i=1}^{n} \log(x_i) - \sum\limits_{i=1}^{n} \log(x_i)
\\ = \log(a)\cdot n - a\log(b)\cdot n + (a-1)\sum\limits_{i=1}^{n}\log (x_i) \)

besser? bzw. nun richtig bis hierhin?
  ─   labis 19.07.2021 um 15:49

:) Ja ist auch erstmal gewöhnungsbedürftig, Da wird man mit der Zeit immer schneller.
Bei deinem letzten Umformungsschritt wäre es gut noch Klammern anzugeben, Sonst ist es schwer zu sagen was zu welcher Summe gehört ;)
Außerdem gilt
$$ \sum\limits_{i=1}^n 1 = n $$
Damit fallen viele Summen weg. Eigentlich alle, in denen keine $x_i$ vorkommt.
  ─   christian_strack 19.07.2021 um 15:50

1
Ah genau so ist es richtig :)   ─   christian_strack 19.07.2021 um 15:50

ja ist mir gerade aufgefallen. danke. nun ableiten. da fällt es mir etwas schwer mit der Summe. aber ich mach mal was ich denke

also die Log am Anfang fallen ja wweg, weil da is ja keine Variable dran, ernsthaft? :D
\( \frac{d}{dx}\log L(a,b)= (a-1) \cdot \sum\limits^{n}_{i=1} \frac{1}{x_i} \overset{!}{=} 0 \)

und da wir ja nach x auflösen? fällt der Faktor weg. und dann bin ich überefragt wie es weiter geht.
  ─   labis 19.07.2021 um 15:58

ich hab für a = 1 raus. passt das? Aber b ist ja komplett verschwunden, kommt das trotzdem hin?   ─   labis 19.07.2021 um 23:13

1
Tut mir Leid das ich erst jetzt wieder antworte.
Nein du musst nach den Parametern ableiten. Das sind hier also 2 partielle Ableitungen
$$ \frac {\partial \log(L(a,b))} {\partial a} = ? \overset != 0, \quad \frac {\partial \log(L(a,b))} {\partial b} = ? \overset != 0$$
Als Tipp, leite zuerst nach $b$ ab.
  ─   christian_strack 20.07.2021 um 15:11

nicht schlimm, gibt genug zu lernen für mich. So konnte ich mich mit anderen Sachen beschäftigen
nach meinen mir bekannten Fähigkeiten :D, erhalte ich:

\[
\frac{d\log(L(a,b))}{da} =\frac{n}{a}-n\log(b)+\sum^n_{i=1}\log(x_i) \overset{!}{=} 0 \Leftrightarrow a= \frac{n}{n\log(b)+\sum^n_{i=1}log(x_i)}
\\ \ \\ \ \\
\text{und}
\\ \ \\ \ \\
\frac{d\log(L(a,b))}{db} = \frac{an}{b} \]
  ─   labis 20.07.2021 um 17:35

hmm ja das ist eigentlich alles richtig. Bin aber gerade auch sehr verwundert über die Ableitung. Habe ich mir vorher gar nicht so genau angeguckt. Aber das macht so natürlich nicht so viel Sinn, da wir keinen Wert für $b$ bestimmen können. Da muss ich nochmal drüber nachdenken   ─   christian_strack 20.07.2021 um 19:50

1
Hmm also selbst wenn wir das ganze ohne Logarithmus betrachten, können wir keinen maximierenden Parameter $b$ finden.
$$ L(a,b) = \prod_i \frac a {b^a} x_i^{a-1} = \frac {a^n} {b^{an}} \prod_i x_i^{a-1} $$
Das nach $b$ abgeleitet liefert
$$ L_b(a,b) = -an \frac {a^n} {b^{an-1}} \prod_i x_i^{a-1} $$
Hier stoßen wir auf das selbe Problem, was prinzipiell auch Sinn macht, da der Logarithmus die Extrema erhält.
Bin persönlich noch nicht auf eine Aufgabe gestoßen, wo das nicht funktioniert hat, deshalb bin ich mir gerade unsicher wie man hier weiter vorgehen sollte.
  ─   christian_strack 21.07.2021 um 09:58

ich besuche heute noch mal die Klausurvorbereitsübung. und hoffe da etwas zu erfahren. werde das hier mitteilen. aber es wurde schon gesagt, dass eine Aufgabe mit solch eine Komplexität nicht dran kommt. aber generell die struktur und typ sehr klausurmöglich ist ^^   ─   labis 21.07.2021 um 11:52

Ja würde mich sehr interessieren :)
Das Vorgehen ist aber immer das selbe. Funktion aufstellen. Dann nach den Parameter ableiten. Wenn das Produkt schwer ist abzuleiten (und das ist es fast immer), dann den Logarithmus nutzen, damit du die Summe der Logarithmen der einzelnen Dichten erhälst. Eine Summe ist dann entspannt abzuleiten.
  ─   christian_strack 21.07.2021 um 13:06

puh ok, also. zum Glück kommt das Niveau nicht dran.

\( X_1 \thicksim F_{X_1} \)

MLF finden:
\[ p(x,a,b) = \prod\limits^{n}_{k=1} f(x_k) = \frac{a^n}{b^{a-n}}\cdot (\prod\limits^{n}_{k=1} x_k)^{a-1}\cdot 1_{x \in (a,b]^n} \]
mit \( \{x \in (a,b]^n\} = \begin{cases} 1 & 0 \le x \le b, i \in 1, ..., n \\ 0 & sonst \end{cases} \)

Für \( b < \overset{n}{max}_{k=1} (x_k) =m\)


Für \( \epsilon >0: p(x,a,m+\epsilon) < p(x,a,m) \)

\( p(x,a,m) \xrightarrow[{a \rightarrow \infty}]{\text{ }} 0 \), daher wird das globale Max von p(x,a,m) in \((0, \infty) \) angenommen.

\[ 0 \overset{!}{=}\frac{\partial}{\partial a} p(x,a,m) = \frac{n \cdot a_0^{n-1}}{c}\cdot (\frac{c}{m^n})^{a_0}+\frac{a_0^n}{c}\cdot \log(\frac{c}{m^n})(\frac{c}{m^n})^{a_0} \Leftrightarrow n+a_0\log(\frac{c}{m^n})=0 \]

\[ a_0 = -\frac{n}{\log(\frac{c}{m^n})} = \frac{1}{(-\frac{1}{n}) \cdot \log(\frac{c}{m^n})}=\frac{1}{\log(\frac{c^{-1/n}}{m^{-n\cdot 1/n}})} = \frac{1}{\log(\frac{m}{c^{1/n}})} \]

Also ich kapier da überhaupt nichts. Er macht dann eine Fallunterscheidung für \( \text{Fall 1}: \frac{c}{m^n}=1 \ \ \ \text{und Fall 2}: \frac{c}{m^n}<1\) Für Fall 1gibt es keienen MLS und für Fall 2. Frag mich nicht ob die Reihenfolge in deer ich hier alles aufgeschrieben habe korrekt ist. hahaha. Ich hab die Bilder gerade geschickt bekommen und die sind nicht geordnet, habe mein bestes versucht. Heute Abend ist noch eine Übung, da schreib ich dann selber mit, mal schauen ob ich klüger werde.

Danke für deine Hilfe! ich mach da mal n Hacken dran und werde, wenn ich die Antwort heute doch noch kriegen sollte, rein schreiben.
  ─   labis 21.07.2021 um 14:38

Dass das Maximum in $(0, \infty)$ liegt macht Sinn, da
$$ \frac {an} b = 0$$
für $b \to \infty$ erfüllt wird. Aber was mich dabei gewundert hatte, ist was wir dann für $b$ einsetzen sollen. Denn wenn wir $b \to \infty$ wählen für die Intervallgrenze, dann müssen wir $b \to \infty$ ja auch für die Dichte nutzen.
Wenn $b$ kleiner als das Maximum der $x_k$ ist, dann wird der Ausdruck zu Null, da mindestens ein $x_k$ größer als $b$ ist und somit die Indikatorfunktion zu Null wird. Da wir hier ein Produkt haben, wir die ganze Likelihood Funktion Null.
Das mit dem $\varepsilon >0$ sagt, dass die Wahrscheinlichkeit für ein größeres $b$ kleiner wird. Das ist, weil wir ja durch $b$ teilen.
Was das $a_0$ und $c$ in den Ableitungen sein soll, kann ich leider auch nicht ganz nachvollziehen. Denke $c$ ist hier irgendeine Konstante und fasst bestimmte Werte zusammen um sich Schreibarbeit zu sparen.
Aber ein $b$ scheint hier ja nicht berechnet zu werden. Finde ich sehr seltsam.
  ─   christian_strack 21.07.2021 um 15:32

Kommentar schreiben