Wie ist die Vorgehensweise bei Signifikanztests? – Normalerweise so:

• Nullhypothese und Alternativhypothese formulieren (gerichtet oder ungerichtet)
• Signifikanzniveau (\(\alpha\)-Fehler-Niveau) festlegen. Üblich sind 5 Prozent (0,05), 1 Prozent (0,01) oder 0,1 Prozent (0,001)
• Freiheitsgrade bestimmen
• Testgröße berechnen
• Tabellenwert ermitteln
• Testgröße mit Tabellenwert vergleichen
• Nach Kriterium Nullhypothese annehmen oder zurückweisen

Die meisten Statistikprogramme zeigen aber eine exakte Irrtumswahrscheinlichkeit an, wenn mit ihnen ein Signifikanztest durchgeführt wird. Dabei handelt es sich um die Wahrscheinlichkeit, sich zu irren, wenn angenommen wird, dass die Alternativhypothese richtig ist. Mit anderen Worten: es handelt sich um die Wahrscheinlichkeit, einen Fehler erster Art (\(\alpha\)-Fehler) zu begehen. Ein Fehler zweiter Art (\(\beta\)-Fehler) liegt vor, wenn angenommen wird, dass die Nullhypothese stimmt, in Wirklichkeit aber die Alternativhypothese richtig ist. Auch dieser Fehler kann mit einer gewissen Wahrscheinlichkeit auftreten. In beiden Fällen handelt es sich um bedingte Wahrscheinlichkeiten. Vergleiche dazu Tabelle 1.

Tabelle 1: \(\alpha\)- und \(\beta\)-Fehler

Quelle: Bortz 2005:111 und Bortz 2005:123

\(1-\beta\) ist die Teststärke (power). Dazu schreibt Bortz 2005:123 folgendes:

»Wenn die \(\beta\)-Fehler-Wahrscheinlichkeit angibt, mit welcher Wahrscheinlichkeit die \(H_{1}\) verworfen wird, obwohl ein Unterschied besteht, so gibt der Ausdruck \(1-\beta\) an, mit welcher Wahrscheinlichkeit zu Gunsten von \(H_{1}\) entschieden wird, wenn ein Unterschied besteht bzw. die \(H_{1}\) gilt. Dieser Wert wird als Teststärke (›power‹) eines Tests bezeichnet.«

Daher ist klar, wo \(1-\alpha\) in Tabelle 1 liegen muss. Es kann sich nur um die Wahrscheinlichkeit handeln, die Nullhypothese anzunehmen, wenn die Nullhypothese real gilt.

Wenn \(\alpha\)- und \(\beta\)-Fehler berechnet werden sollen, dann muss berücksichtigt werden, dass es sich um bedingte Wahrscheinlichkeiten handelt. Die \(\beta\)-Fehler-Wahrscheinlichkeit kann nur berechnet werden, wenn es eine spezifische Alternativhypothese gibt. Das heißt, wenn zum Beispiel eine Alternnativhypothese nicht nur sagt, eine neue Lehrmethode sei nicht nur besser als einee, sondern auch, um wieviel besser. Das bedeutet, es muss nicht nur ein bekannter Grundgesamtheitsmittelwert für die alte Lehrmethode (\(\mu_{0}\)), sondern auch ein (behaupteter) Grundgesamtheitsmittelwert für die neue Lehrmethode (\(\mu_{1}\)) vorliegen (vgl. Bortz 2005:121).

Abbildung 1 zeigt, wie sich \(\alpha\)-Fehler-Wahrscheinlichkeit \(\beta\)-Fehler-Wahrscheinlichkeit jeweils verändern, wenn es einen kleineren oder größeren Stichprobenmittelwert (\(\bar{x}\)) gibt. Wird \(\bar{x}\) größer, dann führt zu einer kleineren \(\alpha\)-Fehler-Wahrscheinlichkeit und gleichzeitig zu einer größeren \(\beta\)-Fehler-Wahrscheinlichkeit. Wird \(\bar{x}\) kleiner, dann verhält es sich umgekehrt. Bortz 2005:123:

»\(\alpha\)- und \(\beta\)-Fehler-Wahrscheinlichkeit verändern sich gegenläufig.«

Abbildung 1: \(\alpha\)- und \(\beta\)-Fehler-Wahrscheinlichkeit in Abhängigkeit vom Stichprobenmittelwert. Abbildung nach Bortz 2005:123 selbst erstellt.

Angenommen, es liegt das Beispiel vor, das in dem Community-Artikel »Der Tee-Test. Vergleich einer empirischen mit einer theoretischen Verteilung.« vorgestellt wird. Dann haben wir:

• \(\mu_{0}=0,\!5\)
• \(\mu_{1}=0,\!9\)
• \(\bar{x}=0,\!7\)
• \(\hat{\sigma}\approx 0,\!466\)
• \(n=30\)

Der Standardfehler berechntet sich nach Formel (1), vgl. Sahner 1982:48 und Bortz 2005:115.

$$\hat{\sigma}_{\bar{x}}=\frac{\hat{\sigma}}{\sqrt{n}} \tag{1}$$

Dabei ist \(\hat{\sigma}\) der Schätzer der Standadabweichung der Grundgsamtheit aus den Daten der Stichprobe. Nach Sahner 1982:49 und Bortz 2005:92 wird dieser Schätzer nach Formel (2) berechnet.

$$\hat{\sigma}=\sqrt{\frac{\sum\limits _{i=1}^{n}\left(x_{i}-\bar{x}\right)^{2}}{n-1}} \tag{2}$$

Im angegeben Beispiel ist der Standardfefehler also etwa 0,085. Nun können nach den Formeln (3) und (4) die z-Werte für die \(\alpha\)- und \(\beta\)-Fehler-Wahrscheinlichkeit berechnet werden (Bortz 2005:115 bzw. Bortz 2005:121).

\begin{eqnarray}
z_{\alpha} & = & \frac{\bar{x}-\mu_{0}}{\hat{\sigma}_{\bar{x}}} \tag{3}\\
z_{\beta} & = & \frac{\bar{x}-\mu_{1}}{\hat{\sigma}_{\bar{x}}} \tag{4}
\end{eqnarray}

Nach diesen z-Werten kann jetzt die jeweilige Wahrscheinlichkeit bestimmt werden. Im Beispiel ist \(z_{\alpha}\approx 2,35\) und \(z_{\beta}\approx -2,35\). Dabei muss berücksichtigt werden, welche Testverteilung jeweils zu Grunde zu legen ist. Wenn mit den angegebenen Daten bei einem Stichprobenumfang von n=30 zwei One-Sample-t-Tests für die folgenden Hypothesen durchgeführt werden:

Test 1

• \(H_{0}: \bar{x} \ge \mu_{1}\)
• \(H_{1}: \bar{x} < \mu_{1}\)

Test 2

• \(H_{0}: \bar{x} \leq \mu_{0}\)
• \(H_{1}: \bar{x} > \mu_{0}\)

dann ist das die t-Verteilung. Jeder t-Test folgt der t-Verteilung. Bei einem kleinen Stichprobenumfang (\(n \leq 30\)) unterscheidet sich die t-Verteilung merkbar von der Normalverteilung. Bei größer werdendem Stichprobenumfang geht die t-Verteilung zunehmend in die Normalverteilung über (vgl. dazu Bortz 2005:137 und Sahner 1982:49 ). Die \(\alpha\)- und die \(\beta\)-Fehler-Wahrscheinlichkeit können nun in einer Tabellenkalkulation ermittelt werden. Wenn

• \(z_{\alpha}\) in Zelle A1
• \(z_{\beta}\) in Zelle A2
• die Fallzahl \(n\) in Zelle A3
• die Seiten mit dem Wert 1 oder dem Wert 2 (für einseitigen oder zweiseitigen Test) in Zelle A4

steht, dann wird die \(\alpha\)-Fehler-Wahrscheinlichkeit durch die Tabellenkalkulationsformel

=TVERT(A1;A3-1;A4)

und die \(\beta\)-Fehler-Wahrscheinlichkeit durch die Tabellenkalkulationsformel

=TVERT(A2*(-1);A3-1;A4)

ermittelt. Die Multiplikation mit –1 in der Formel für die \(\beta\)-Fehler-Wahrscheinlichkeit ist nötig, weil die Funktion TVERT nur positive Werte annimmt. Bei negativen Werten wird eine Fehlermeldung zurückgegeben. Im vorliegenden Beispiel liegen beide Werte etwa bei 0,013. Dieses Ergebnis stimmt mit den Werten überein, die das Statistikprogramm r ausgibt, wenn für Test 1 und für Test 2 jeweils ein einseitiger One-Sample-t-Test mit einem Konfidenzintervall von 0,95 gemacht wird. Der r-Output sieht in den jeweiligen Fällen so aus:

r-Output zu Test 1

One Sample t-test

data:  V1
t = -2.3503, df = 29, p-value = 0.01289
alternative hypothesis: true mean is less than 0.9
95 percent confidence interval:
      -Inf 0.8445894
sample estimates:
mean of x
      0.7

r-Output zu Test 2

One Sample t-test

data:  V1
t = 2.3503, df = 29, p-value = 0.01289
alternative hypothesis: true mean is greater than 0.5
95 percent confidence interval:
 0.5554106       Inf
sample estimates:
mean of x
      0.7

Literatur

Bortz, Jürgen, (6)2005: Statistik für Human- und Sozialwissenschaftler. Heidelberg: Springer

Sahner, Heinz, (2)1982: Statistik für Soziologen 2. Schließende Statistik. (= Teubner Studienskripten 23. Studienskripten zur Soziologie) Stuttgart: Teubner