post-hoc analyse
hallo!
ich hab mal eine frage an statistik-fans.. oder jeden der sich mit post-hoc analysen auskennt:)
ist es nicht eigentlich "schlecht" so post-hoc analysen zu machen.. also ich rede von psychologischen studien in denen die forscher nachdem die studie durchgeführt wurde hypothesen testen die sie vorher nicht angegeben haben. hoffe das ist verständlich.
wenn ich das google dann stoße ich auf sachen wie "data-mining" und falls ich mich richtig erinner meine ich das auch schon tausende male gehört zu haben, also dass man solche tests nachdem das dataset gesammelt wurde eigentlich nicht so doll sind.. aber irgendwie versteh ich nicht ganz warum..
ich bedanke mich schon mal für jegliche hilfe im voraus!:)
2 Antworten
Du hast Recht, post-hoc-Auswertungen sind recht fragwürdig. Ein Versuchsdesign geht z.B. von einem Fehlerniveau aus, mit dem man die Alternativhypothese fälschlicherweise annehmen würde (Fehler erster Art, Alpha-Fehler). Wenn man die Daten mehrfach auswertet, und eine post-hoc-Analyse wäre eine Mehrfachauswertung, dann stimmt das angegebene Signifikanzniveau nicht mehr. Dies wird z.B. unter dem Begriff Alpha-Inflation beschrieben:
- »Das Problem ist hier, dass je mehr Tests durchgeführt werden, desto eher gibt es rein zufällig signifikante Ergebnisse. Legt man das Signifikanzniveau beispielsweise auf 90%, dann wird man bei 100 Tests im Mittel mit 10 rein zufällig zustandegekommenen signifikanten Testergebnissen rechnen müssen.«
Post-hoc-Analysen müssen daher mit diese Tatsachen berücksichtigenden Verfahren durchgeführt werden oder sind nur statthaft, wenn man zur Hypothesengenerierung vorab explorierende Untersuchungen macht.
»Post Hoc Tests werden auch ungeplante Tests genannt. Post-hoc-Tests werden verwendet, wenn vor einem allgemeinen Test keine Hypothesen formuliert wurden. Dies ist bei Datenexplorationen auf neuen Gebieten eigentlich immer der Fall. Post hoc Tests dürfen nur durchgeführt werden, wenn der vorangehende allgemeine Test Signifikanz erbracht hat, denn der allgemeine Test beleuchtet alle Gruppen auf einmal und hat somit eine grössere (Gesamt-)Aussagekraft. Die zum Teil schärferen (grössere Power) paarweisen Tests (z. B. t-Test, Mann-Whitney Test) können post hoc durchaus Signifikanz aufzeigen obwohl der vorangehende allgemeine Test dies nicht tat. Siehe dazu Alpha Inflation. Es ist jedoch nicht erlaubt, bei verfehlter Signifikanz des allgemeiner Tests mittels Anwendung paarweiser Tests letztlich doch noch Signifikanz herbeizuführen, da das aussagekräftigere Ergebnis des allgemeinen Tests durch ein weniger aussagekräftiges Ergebnis des paarweisen Tests ersetzt würde. Der paarweise Test ignoriert nämlich das Vorhandensein weiterer Gruppen.«
»Weil also bei signifikanten allgemeinen Tests die klassischen paarweisen Tests ohnehin Signifikanz ergeben würden, wurden die Post Hoc Tests entwickelt. Diese berücksichtigen nicht nur isoliert paarweise 2 Gruppen, sondern betrachten die Gruppen in ihrem Gesamtgefüge indem sie spezielle Teststatistiken verwenden, die für multiple Vergleiche geeignet sind.«
Die Zitate stammen aus: http://www.reiter1.com/Glossar/Post_Hoc_Test.htm
wow, vielen, vielen Danke für die ausfürhle Antwort!:) Hat mir wirklichs ehr geholfen!!
Für Psychologen sind Verfahren wie Data MIning usw. ja etwas anrüchig und spekulativ .. Aber dennoch kommen wir ohne Post-hoc Analysen ja gar nicht aus, z.B. geht es im Rahmen vieler varaianzanalytischer Designs oft nicht anders. Es sind dann eben eher prospektive Ergebnisse, die zur weiteren Hypothesenbildung (und deren gennaureren Überprüfung) dienen.