ROC-Kurve und AUC berechnen: Grenzwert, Konfidenzintervall und Vergleich mehrerer Tests
Fügen Sie Ihre Messwerte aus Excel oder SPSS ein: in der ersten Spalte den Status (1 = Erkrankung oder Ereignis, 0 = keines), danach ein bis vier Messwerte. Der Rechner zeichnet die ROC-Kurve, berechnet die AUC mit Konfidenzintervall nach DeLong, bestimmt den optimalen Grenzwert mit Sensitivität, Spezifität, Vorhersagewerten und Likelihood-Ratios und vergleicht mehrere Tests an denselben Personen. Die Grafik erhalten Sie als SVG, Vektor-PDF oder PNG in Druckauflösung. Alle Daten bleiben in Ihrem Browser und werden nicht übertragen.
Daten aus Excel? So bereiten Sie Ihre Tabelle vor: Spalten, Beispiel und häufige Fehler.
Daten
Eine Zeile je Person: Status (1/0, auch ja/nein oder krank/gesund), dann Messwert(e), getrennt durch Tabulator, Semikolon oder Leerzeichen. Dezimalkomma und -punkt sind möglich. Eine Kopfzeile mit Namen ist erlaubt. Zeilen mit fehlenden Werten (leer oder NA) werden ausgeschlossen.
Auswertung
Ergebnis
Kennzahlen für einen eigenen Grenzwert
Alle Grenzwerte
Textvorschlag für Methoden und Ergebnisse
Die Sprache des Textes folgt der Einstellung „Sprache der Beschriftung“. Bitte prüfen Sie den Text und passen Sie ihn an Ihre Studie an.
So lesen Sie das Ergebnis
- AUC: Die Fläche unter der Kurve gibt an, wie gut der Test Personen mit und ohne Erkrankung trennt. 0,5 entspricht dem Zufall, 1,0 einer perfekten Trennung. Anschaulich ist die AUC die Wahrscheinlichkeit, dass eine zufällig gewählte Person mit Status 1 einen höheren Wert hat als eine zufällig gewählte Person mit Status 0.
- Konfidenzintervall und p-Wert: Das Intervall nach DeLong zeigt die Unsicherheit der AUC. Der p-Wert prüft die Nullhypothese AUC = 0,5. Bei kleinen Stichproben (unter etwa 30 je Gruppe) und sehr hohen AUC-Werten ist das Intervall nur näherungsweise gültig und kann an die Grenze 1,0 stoßen.
- Optimaler Grenzwert: Der Youden-Index wählt den Wert mit der größten Summe aus Sensitivität und Spezifität minus 1. Er gewichtet beide Fehlerarten gleich. Soll ein Test sicher ausschließen (Screening), wählen Sie eine Mindest-Sensitivität, soll er sicher bestätigen, eine Mindest-Spezifität. Klinisch sinnvoller als der rechnerische Optimum-Wert ist oft ein Grenzwert, der Folgen und Kosten von Fehlentscheidungen berücksichtigt.
- Überanpassung: Ein Grenzwert, der aus denselben Daten bestimmt wird, an denen er geprüft wird, schätzt Sensitivität und Spezifität meist zu günstig. Für die Aussage über neue Patienten brauchen Sie eine Validierung an unabhängigen Daten oder ein Verfahren wie Kreuzvalidierung.
- PPV und NPV: Positiver und negativer prädiktiver Wert hängen von der Häufigkeit der Erkrankung ab. Die Tabelle zeigt sie für die Häufigkeit in Ihrer Stichprobe. Bei einer Fall-Kontroll-Studie mit festgelegtem Verhältnis sind diese Werte nicht auf die Praxis übertragbar.
- Vergleich mehrerer Tests: Der DeLong-Test vergleicht die AUC von zwei bis vier Tests, die an denselben Personen gemessen wurden. Er berücksichtigt die Abhängigkeit der Messwerte. Bei mehreren Vergleichen steigt das Risiko eines Zufallsbefundes, hier ist eine Korrektur für Mehrfachtests nötig.
- Berichten: Für Studien zur diagnostischen Genauigkeit empfiehlt STARD 2015 ein Flussdiagramm der Teilnehmenden. Dieses erstellen Sie mit dem Flussdiagramm-Generator.
Formeln und Quellen
- Sensitivität = TP / (TP + FN), Spezifität = TN / (TN + FP), PPV = TP / (TP + FP), NPV = TN / (TN + FN), LR+ = Sensitivität / (1 − Spezifität), LR− = (1 − Sensitivität) / Spezifität, Youden-J = Sensitivität + Spezifität − 1. Konfidenzintervalle für Sensitivität und Spezifität nach Wilson.
- AUC als Mann-Whitney-Statistik mit Mittelrängen bei gleichen Werten. Die Varianz und die Kovarianz mehrerer AUC folgen DeLong et al.; die Berechnung über Rangzahlen nutzt das Verfahren von Sun und Xu.
- DeLong ER, DeLong DM, Clarke-Pearson DL. Comparing the areas under two or more correlated receiver operating characteristic curves: a nonparametric approach. Biometrics 1988;44:837-845.
- Sun X, Xu W. Fast implementation of DeLong's algorithm for comparing the areas under correlated receiver operating characteristic curves. IEEE Signal Processing Letters 2014;21:1389-1393.
- Youden WJ. Index for rating diagnostic tests. Cancer 1950;3:32-35.
- Wilson EB. Probable inference, the law of succession, and statistical inference. J Am Stat Assoc 1927;22:209-212.
- Hanley JA, McNeil BJ. The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology 1982;143:29-36.
- Bossuyt PM, Reitsma JB, Bruns DE, et al. STARD 2015: an updated list of essential items for reporting diagnostic accuracy studies. BMJ 2015;351:h5527.
Haftungshinweis: Der Rechner unterstützt die Auswertung und ersetzt keine Statistikberatung. Für Studiendesign, Wahl des Grenzwerts und Interpretation sind Sie verantwortlich. Die Berechnung wurde gegen scikit-learn und eine unabhängige Implementierung des DeLong-Verfahrens geprüft.