Die Überschreitungswahrscheinlichkeit p gibt uns an, mit welcher Wahrscheinlichkeit der beobachtete Unterschied in den Stichprobenmittelwerten zufällig zustande gekommen ist. Auf Grund der Grösse der Überschreitungswahrscheinlichkeit entscheiden wir über Annahme oder Ablehnung der Arbeitshypothese H₀.

Wir beurteilen die Grösse von p anhand von drei in den Sozialwissenschaften üblichen, an sich aber willkürlich gewählten Grenzwerten, den sog. Signifikanzniveaus: dem 5%-, dem 1%- und dem 0,1%-Signifikanzniveau.

Die folgende Grafik zeigt die Grenzwerte der drei Signifikanzniveaus für einseitige Überschreitungswahrscheinlichkeiten und die Beurteilung verschiedener Ausprägungsgrade der Prüfgrösse .

Fehlerrisiko und Irrtumswahrscheinlichkeit. Lehnen wir H₀ ab, so besteht ein Restrisiko, dass wir dies fälschlicherweise getan haben. Dieses Risiko nennen wir das α-Fehlerrisiko oder die Irrtumswahrscheinlichkeit.

Den Ausprägungsgrad der Irrtumswahrscheinlichkeit kennen wir: Er entspricht der Überschreitungswahrscheinlichkeit p, d.h. der Wahrscheinlichkeit, dass der Ausprägungsgrad der Prüfgrösse trotzdem zufällig erreicht oder überschritten wird.

H₀ auf dem 5%-Signifikanzniveau abgelehnt: Irrtumswahrscheinlichkeit p ≤ 5%

H₀ auf dem 1%-Signifikanzniveau abgelehnt: Irrtumswahrscheinlichkeit p ≤ 1%

H₀ auf dem 0,1%-Signifikanzniveau abgelehnt: Irrtumswahrscheinlichkeit p ≤ 0,1%

Nehmen wir H₀ an, so besteht natürlich auch ein Risiko, dass wir dies fälschlicherweise getan haben. Dieses Risiko nennen wir β-Fehlerrisiko.

Eine Abschätzung der Grösse des β-Fehlerrisikos ist bei unspezifischer Alternativhypothese H₁ nicht möglich, d.h., dass bei Annahme von H₀ bei einer unspezifischen Alternativhypothese H₁ keine Irrtumswahrscheinlichkeit angegeben werden kann.

Auf spezifische Alternativhypothesen und die Abschätzung des β-Fehlerrisikos wird im Submodul ‚Zur Konzeption einfachster Untersuchungen’ noch näher eingegangen werden.