Chi Quadrat Test und Effektstärke Phi
Liebe Community,
in meiner Arbeit stehe ich vor folgendem Problem. Für die Auswertung soll ich sowohl den Chi Quadrat-Test als auch die Effektstärke Phi einbeziehen. Nach den Standards von Cohen (1988) kann ab einer Effektstärke von .3 von einem mittleren Zusammenhang gesprochen werden. Mein Problem dabei ist Folgendes: Wenn ich beim chi-quadrat Test eine nicht signifikante Wahrscheinlichkeit von z.B. .10 bekomme, meine Effektstärke jedoch höher als .3 ist. Ist das Ganze dann interpretierbar, beziehungsweise kann ich die Signifikanz außenvor lassen, wenn die Effektstärke hochgenug ist?
Vielen Dank schonmal :-)
1 Antwort
In Deinem Fall bist Du nicht zu 95%, sondern nur zu 90% sicher, dass die tatsächliche Effektstärke in der Grundgesamtheit nicht 0 ist, d.h. bei gewähltem 5%-Niveau kannst Du die "kein-Unterschied-Hypothese" nicht ablehnen. Wenn Du eine größere Stichprobe nimmst, könntest Du zwar ein andere Effektstärke bekommen, aber wenn das gleiche Ergebnis herauskäme, hättest Du wahrscheinlich eine kleinere Ws. (falls die zusätzlichen Beobachtungseinheiten nicht stärker streuen als die ursprünglichen).
Du kannst für jede noch so kleine Effektstärke, die verschieden von 0 ist, durch eine entsprechend große Stichprobe Signifikanz herausbekommen. Nimm z.B. einfach Deine Stichprobe, verdopple sie, verdreifache sie, 4, 5, 6, usw. bis der Test signifikant wird.
Das kannst Du natürlich nicht real machen, da ja eine reale Stichprobe der doppelten usw. Größe natürlich andere Beobachtungseinheiten enthalten würde. Das ist nur zum Verständnis, dass bei gleicher Effektstärke die Signifikanz mit der Stichprobengröße zunimmt. Die Beobachtungseinheiten der einfach verdoppelten Stichprobe sind ja nicht mehr alle unabhängig voneinender (je 2 sind ja sogar identisch), sodass eine entscheidende Voraussetzung fehlen würde, statistische Tests anzuwenden