Statistik: Kappa? Korrelation? p-Wert?
Liebe Mitleser :)
Ich recherchiere, ich google, .. ich steig nicht durch.
Was genau sagt mir der Wert Kappa? Und was ist der Unterschied zur Korrelation?
Um vllt ein Beispiel zu nennen:
Die Korrelation liegt bei 86,21 %, Kappa bei 0,7256, der p-Wert bei 0,0026.
Heißt für mich:
- Mein Bauchgefühl sagt, wir korrelieren mit 86,21 % ganz gut
- Kappa mit 0,7256 = starke Übereinstimmung -> passt für mich zur Korrelation
- p-Wert von 0,0026 = signifikante Abweichung der erwarteten Übereinstimmung mit der tatsächlichen Übereinstimmung
Ist die Abweichung signifikant, weil beide Observer in allen anderen Beurteilungen eine fast vollständige Übereinstimmung haben? Es gibt allerdings auch 2 Beurteilungen, in denen der p-Wert nicht signifikant ist, Kappa aber eine schwache Übereinstimmung aufweist, obwohl die Korrelation bei über 80 % liegt. Ich verstehe den Zusammenhang nicht ganz.
Über verständliche Antworten wäre ich SO dankbar :)
1 Antwort
Kappa (Cohens kappa?) ist ein Maß der Beobachterübereinstimmung. kappa ist bei nicht von vornherein fixen Randverteilungen wenig brauchbar, und wenn die Verteilungen zwischen den Kategorien sehr ungleich sind, ist es sogar absurd unbrauchbar.
Was eine "Korrelation 86,21%" konkret heißen soll, weiß ich leider nicht.
Der Signifikanztest befasst sich normalerweise mit der überaus unspannenden Null-Hypothese, dass die Korrelation bzw. die Beobachterübereinstimmung in der Grundgesamtheit, aus der die Stichprobendaten stammen, exakt = 0,0000000....0 beträgt. Aber was hier getestet wurde, ist von Dir nicht ausdrücklich angegeben.
Wenn Beobachter A von z.B. 100 Objekten 70:30 in Kategorien a bzw. b sieht, und Beobachter B sieht sie 60:40 in a und b, dann kann man ausrechnen, wie hoch die Übereinstimmung allein schon durch reinen Zufall sein würde. Bei der Berechnung von kappa geht es dann im Kern darum, wieweit die Übereinstimmung der beiden Beobachter über das hinaus geht, was bereits als die berechnete zufällige Übereinstimmung zu erwarten wäre. Es gibt Konstellationen, bei denen eine hohe Übereinstimmung registriert wird, die wäre aber schon weitgehend durch Zufall erwartbar, und kappa geht nur wenig darüber hinaus. Das ist dann ein schwacher kappa-Wert trotz hoher Übereinstimmung.
Was den p-Wert angeht, das ist nicht zu beantworten, wenn Du nicht mitteilst, was denn da eigentlich getestet wurde. Wie bereits gesagt, vielleicht ist das der Test der Frage, ob kappa statistisch signifikant von 0 verschieden ist.
Verstehe ich das richtig, dass wenn Kappa hoch ist (z.B. 0.9), davon ausgegangen wurde, dass die tatsächliche Übereinstimmung schlecht ist, in Wirklichkeit aber gut war?
Also z.B. berechnet wurde eine Übereinstimmung von 30%, die Beobachter liegen aber tatsächlich bei 90%. Dann ist Kappa hoch.
Wenn berechnet wurde, dass die Übereinstimmung bei 90% liegt und die Beobachter liegen tatsächlich bei 90%, dann ist Kappa niedrig.
Und wenn die Übereinstimmung bei 90% berechnet wurde und die Beobachter liegen tatsächlich bei 30%, dann ist Kappa .. auch hoch?
Was sagt mir Kappa denn dann konkret? Also was .. bringt mir Kappa?
In meinem Test geht es grob darum, dass 2 Observer mehrere Bilder auf bestimmte Aspekte beurteilen sollen. In den Aspekten wir entweder mit ja/vorhanden oder nein/nicht vorhanden beurteilt. Dann wird geguckt, wie gut die Observer in den jeweiligen Aspekten in allen Bildern übereinstimmen.
Könnte man auch einfach sagen Cohens Kappa gibt die Zuverlässigkeit einer Testmethode an? Also wenn Kappa niedrig ist, ist der Test wahrscheinlich nicht zuverlässig?
kappa sagt quasi: wie viel von dem, das an Übereinstimmung nicht bereits durch Zufall erwartet wurde, wurde zusätzlich an Übereinstimmung gefunden.
De facto ist kappa ein unbrauchbares Maß, wenn die "Zufallsübereinstimmung" nicht von vornherein festliegt, aber das wird von jeher geflissentlich ignoriert.
Wenn Deine Abnehmer das schlucken, kannst Du es als Reliabilitätsmaß präsentieren.
Erstmal vielen Dank für deine Antwort.
"Kappa (Cohens kappa?) ist ein Maß der Beobachterübereinstimmung."
Ja, es geht um Cohens Kappa. Die Definition "Maß der Beobachterübereinstimmung" finde ich immer wieder. Kannst du das vielleicht nochmal in anderen Worten beschreiben? Denn genau da setzt mein Hirnknoten ein. Für mich ist die Übereinstimmung die Korrelation. Wenn 2 Beobachter z.B. in allen Antworten übereinstimmen (100,00%), liegt Kappa (in meiner Statistik) bei 1,0000 = vollständige Übereinstimmung. Bezieht sich "vollständige Übereinstimmung" auf meine 100,00% oder was stimmt vollständig überein?
"kappa ist bei nicht von vornherein fixen Randverteilungen wenig brauchbar, und wenn die Verteilungen zwischen den Kategorien sehr ungleich sind, ist es sogar absurd unbrauchbar."
Ich verstehe nur Bahnhof, sorry <:)
"Was eine "Korrelation 86,21%" konkret heißen soll, weiß ich leider nicht."
2 Observer begutachten z.B. 100 Äpfel auf Unversehrtheit. in 86,21 % stimmen beide in ihren Antworten überein (egal, ober nun unversehrt ist oder nicht).
"Der Signifikanztest befasst sich [...] mit der [...] Null-Hypothese, dass die Korrelation [...] in der Grundgesamtheit [...] exakt = 0,0000000....0 beträgt. Aber was hier getestet wurde, ist von Dir nicht ausdrücklich angegeben."
Da es sich um eine unveröffentlichte Dissertation handelt, kann ich den genauen Test nicht angeben. Ich verstehe leider auch hier nur Bahnhof.
Was in meinem Kopf nicht reingehen will ist:
Ich danke dir überaus für deine Hilfe :)