Hypothesentesten oder Signifikanztesten?
Signifikanztesten:
Passen die Daten noch zu einer speziellen Vorstellung von der Welt d.h. zu der Nullhypothese (hypothesis to be nullified), zum Beispiel "der Unterschied zwischen zwei Populationen ist exakt 0,00000000000...", - Oder weichen die Daten zuverlässig von dieser Nullhypothese ab (wären bei Gültigkeit der Nullhypothese kaum zu erwarten)?
Zuverlässige Abweichungen werden erkennbar entweder, weil der Effekt in der Stichprobe groß ist. Und/oder, weil der Effekt mit einem sehr geringen Stichprobenfehler ermittelt wurde, also die Stichprobe sehr groß war.
Weichen die Daten zuverlässig von der Nullhypothese ab, kann man sich entscheiden, die Nullhypothese zu verwerfen. Weichen sie nicht zuverlässig davon ab, war die Stichprobe zu klein und man muss die Nullhypothese beibehalten.
Beim Hypothesentesten hingegen hat man eine Alternativ- und eine Nullhypothese und muss für die Alternativhypothese spezifizieren, wie groß der angenommene Effekt ist. Hat man das getan, muss man eine Stichprobengröße festlegen, welche die Chance bietet (d.h. ausreichende statistische power hat), die Nullhypothese zu verwerfen. Lassen die Stichprobendaten sich nicht verwerfen und die power war ausreichend, kann man die Nullhypothese annehmen.