ICC und Kappa berechnen: Übereinstimmung von Beurteilenden prüfen

Herausgeber: Prof. Dr. med. Serge C. Thal · Stand: Oktober 2026

Wie gut stimmen zwei oder mehr Beurteilende überein, etwa bei einer Messung, einem Score oder einer Befundung? Fügen Sie Ihre Daten aus Excel ein (eine Zeile je Person, eine Spalte je Beurteilende). Für Messwerte berechnet der Generator den Intraklassen-Korrelationskoeffizienten (ICC) in allen sechs Formen, für Kategorien Cohens Kappa (auch gewichtet) und Fleiss-Kappa, jeweils mit Konfidenzintervall. Sie erhalten Abbildung und Tabelle zum Einfügen in Word oder Excel sowie als SVG, Vektor-PDF, PNG und CSV. Alle Daten bleiben in Ihrem Browser und werden nicht übertragen.

Daten aus Excel? So bereiten Sie Ihre Tabelle vor: Spalten, Beispiel und häufige Fehler.

Welches Maß passt?

• Messwerte (Blutdruck, Winkel, Zeit): Der ICC beschreibt, welcher Anteil der Streuung auf echte Unterschiede zwischen den Personen zurückgeht und nicht auf Unterschiede zwischen den Beurteilenden. Er nimmt Werte bis 1 an; negative Werte bedeuten praktisch keine Zuverlässigkeit.
• Kategorien (Befund ja/nein, Schweregrad): Kappa korrigiert die Übereinstimmung um den Anteil, der schon durch Zufall zu erwarten wäre. Für zwei Beurteilende gibt es Cohens Kappa, für drei und mehr Fleiss-Kappa.
• Geordnete Kategorien: Das gewichtete Kappa (linear oder quadratisch) bestraft große Abweichungen stärker als kleine. Das quadratisch gewichtete Kappa entspricht in der Praxis weitgehend dem ICC. Die Reihenfolge der Kategorien legen Sie bei Textangaben unter „Reihenfolge der Kategorien“ fest, Zahlen werden nach Größe geordnet.
• Zwei Messmethoden am selben Menschen: Neben dem ICC lohnt das Bland-Altman-Diagramm, weil es die Größe der Abweichungen in Ihrer Einheit zeigt.

Welche ICC-Form?

• Zweifach zufällig, absolute Übereinstimmung, ICC(2,1): Standard, wenn die Beurteilenden stellvertretend für andere stehen und die Werte selbst übereinstimmen sollen (typisch für Messmethoden und Reliabilitätsstudien).
• Zweifach gemischt, Konsistenz, ICC(3,1): Wenn nur genau diese Beurteilenden interessieren und systematische Unterschiede (ein Gerät misst immer etwas höher) nicht stören.
• Einfach, ICC(1,1): Wenn jede Person von anderen Beurteilenden bewertet wurde.
• Einzelmessung oder Mittelwert: Wird später ein einzelner Wert verwendet, gilt die Einzelmessung. Wird der Mittelwert mehrerer Beurteilender verwendet, gilt die Mittelwert-Form (ICC(·,k)), die immer höher ausfällt.
• Beurteilung: Nach Koo und Li liegen die Grenzen bei 0,5, 0,75 und 0,9. Maßgeblich ist das Konfidenzintervall. Für verlässliche Intervalle sind mindestens etwa 30 Personen sinnvoll.

Hinweise zu Kappa

• Kappa-Paradox: Ist eine Kategorie sehr selten oder sehr häufig, fällt Kappa niedrig aus, obwohl die Beurteilenden fast immer übereinstimmen. Berichten Sie deshalb die beobachtete Übereinstimmung, bei zwei Kategorien auch positive und negative Übereinstimmung, und prüfen Sie PABAK und Gwets AC1.
• Einordnung: Die Stufen nach Landis und Koch (unter 0 schlecht, bis 0,20 geringfügig, bis 0,40 ausreichend, bis 0,60 mäßig, bis 0,80 erheblich, darüber fast vollständig) sind eine Konvention ohne feste Grundlage.
• Berichtsstandard: Die Leitlinie GRRAS (Kottner 2011) listet, was in Reliabilitätsstudien berichtet werden sollte: Zahl der Beurteilenden und Personen, Verblindung, Auswahl, Auswertung.
• Fehlende Werte: Es gehen nur Zeilen ein, in denen alle gewählten Beurteilenden ein Urteil abgegeben haben.

Verfahren und Quellen

• ICC: Varianzanalyse mit Zeilen- und Spaltenfaktor; ICC(1,1), ICC(2,1), ICC(3,1) und die Mittelwert-Formen nach Shrout und Fleiss. Konfidenzintervalle über F-Verteilung, für das zweifach zufällige Modell mit der Näherung nach McGraw und Wong (Satterthwaite). Standardmessfehler = SD aller Werte × Wurzel(1 − ICC), kleinste nachweisbare Veränderung = 1,96 × Wurzel(2) × SEM.
• Cohens Kappa: Kappa = (Po − Pe) / (1 − Pe), gewichtet mit linearen oder quadratischen Gewichten; Standardfehler und Konfidenzintervall asymptotisch nach Fleiss, Cohen und Everitt (1969).
• Fleiss-Kappa: nach Fleiss (1971) aus den Kategorienhäufigkeiten je Person; Konfidenzintervall und AC1-Intervall per Bootstrap (2000 Ziehungen, Perzentilverfahren, fester Startwert; mehr als 2000 Personen 500 Ziehungen).
• Shrout PE, Fleiss JL. Intraclass correlations: uses in assessing rater reliability. Psychol Bull 1979;86:420-428.
• McGraw KO, Wong SP. Forming inferences about some intraclass correlation coefficients. Psychol Methods 1996;1:30-46.
• Koo TK, Li MY. A guideline of selecting and reporting intraclass correlation coefficients for reliability research. J Chiropr Med 2016;15:155-163.
• Cohen J. A coefficient of agreement for nominal scales. Educ Psychol Meas 1960;20:37-46.
• Fleiss JL, Cohen J, Everitt BS. Large sample standard errors of kappa and weighted kappa. Psychol Bull 1969;72:323-327.
• Fleiss JL. Measuring nominal scale agreement among many raters. Psychol Bull 1971;76:378-382.
• Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977;33:159-174.
• Byrt T, Bishop J, Carlin JB. Bias, prevalence and kappa. J Clin Epidemiol 1993;46:423-429.
• Gwet KL. Computing inter-rater reliability and its variance in the presence of high agreement. Br J Math Stat Psychol 2008;61:29-48.
• Weir JP. Quantifying test-retest reliability using the intraclass correlation coefficient and the SEM. J Strength Cond Res 2005;19:231-240.
• Kottner J, et al. Guidelines for Reporting Reliability and Agreement Studies (GRRAS). J Clin Epidemiol 2011;64:96-106.

Haftungshinweis: Der Generator unterstützt die Auswertung von Reliabilitätsstudien und ersetzt keine Statistikberatung. Prüfen Sie Ergebnisse, die in eine Arbeit eingehen, mit Ihrer Statistikberatung oder einer zweiten Software. Für Inhalt und Auswertung sind Sie verantwortlich.