Software ROC/AUC-calculation

ProgrammEvaluation der prädiktiven Leistung der Verbreitung von Arten Modelle
ROC_AUC ist ein Delphi-Programm für die Beurteilung der prädiktiven Leistung von Lebensraum-Modelle. Das Programm berechnet die Fläche unter Receiver Operating Characterstic Kurven (Beck & Shultz 1986; Hanley & McNeil 1982; Hosmer & Lemeshow 2000) und schätzt die optimale Cutoff-Werte. Es kann benutzt werden, um die Übertragbarkeit der Modelle beurteilen Lebensraum wie in beschrieben werden Schröder (2000) und Bonn & Schröder (2001) .
Merkmale
  • Bau der Receiver Operating Characterstic (ROC), die die Leistung eines prädiktiven Habitatmodell als Kompromiss zwischen der Empfindlichkeit und Spezifität
  • Berechnung der Fläche unter der ROC-Kurve (AUC) als Schwellenwert-unabhängige Maß der Vorhersagewert Leistung mit Bootstrap-Konfidenzintervalle mit der Methode, die sich auf percentil Buckland et al. (1997) und Augustin et al. (1998)
  • Berechnung einer Vielzahl von Schwellenwert-abhängigen Performance-Kriterien wie bei Fielding & Bell (1997), z. B. Cohens Kappa, die korrekte Klassifizierung Geschwindigkeit, Sensitivität und Spezifität beschrieben
  • Optimierung der Cut-off-Werte in Bezug auf 
    i) maximiert Kappa (Pkappa), 
    ii) minimiert Unterschied zwischen Empfindlichkeit und specificty (Pfair in Schröder & Richter 1999) 
    iii) maximiert die korrekte Klassifizierung Rate (Popt, aus der ROC berechnet als in Zweig und Campbell beschrieben (1993) unter Berücksichtigung der unterschiedlichen Kosten der falsch positiven oder falsch negativen Prognosen) und 
    iv) P = 0,5
  • calculation of classification matrices regarding the optmised cut-off values
  • summary of the most important criteria regarding the optmised cut-off values
  • import of ASCII-input data comprising 
    i) observed incidence {0,1} and 
    ii) estimated occurrence probabilities [0,1]; 
    please make sure that your PC uses the decimal point "." instead of the comma "," as the character for separating decimal places (in case of German PCs: "Einstellungen -> Systemsteuerung -> Ländereinstellungen -> Dezimaltrennzeichen").
  • additionally import via the clipboard (copy & paste from spreadsheets)
  • creation of ASCII-output comprising 
    i) all data needed to plot ROC and 
    ii) all performance criteria for cut-off values ranging from 0 to 1 as well as a summary of predictive performance criteria regarding the optmised cut-off values
ReferenzenAugustin, NH, Mugglestone, MA und Buckland, ST (1998) Die Rolle der Simulation bei der Modellierung räumlich korrelierte Daten.Environmetrics 9: 175-196. 
Beck, JR & Shultz, EK (1986) Die Verwendung von ROC-Kurven im Test Leistungsbewertung. Archiv der Pathologie und Labormedizin, 110, 13-20. 
Bonn, A & Schröder, B (2001) Habitat-Modelle und deren Transfer für Single-und Multi-Spezies-Gruppen: eine Fallstudie von Carabiden in einem Auwald. Ecography, 24, 483-496. 
Buckland, ST, Burnham, KP & Augustin, NH (1997) Modell Auswahl: ein integraler Bestandteil des Schlusses. - Biometrie 53: 603-618. 
Fielding, AH & Bell, JF (1997) Eine Überprüfung der Methoden für die Beurteilung der Prognosefehler im Naturschutz Anwesenheit-Abwesenheit Modelle. Environmental Conservation, 24, 38-49. 
Hanley, JA & McNeil, BJ (1982) Die Bedeutung und Nutzung der Fläche unter einer ROC-Kurve. Radiologie, 143, 29-36. 
Hosmer, DW & Lemeshow, S (2000) angewandte logistische Regression, 2. Aufl.. Wiley, New York. 
Schröder, B (2000) Zwischen Naturschutz und Theoretischer Ökologie: Modelle zur Habitateignung und räumlichen Populationsdynamik für Heuschrecken im Niedermoor. PhD - Thesis (in Deutsch), TU Braunschweig, Braunschweig. 
Sind Schröder, B & Richter, O (1999/2000) Lebensraum Modelle übertragbar in Raum und Zeit? Zeitschrift für Naturschutz, ehemals Zeitschrift für Ökologie und Naturschutz, 8, 195-205. 
Zweig, MH & Campbell, G (1993) Receiver-Operating Characteristic (ROC) Grundstücke: eine grundlegende Evaluierung Werkzeug in der klinischen Medizin. Klinische Chemie, 39, 561-577.
Download
neue Version (8. Dezember 2006.) : roc_auc_dec06.zip (291 kB) Hinweis: Bitte senden Sie eine E-Mail (boris.schroeder[at]tum.de), Ihren Namen auf den Benutzer hinzuzufügen, so dass Sie über Änderungen benachrichtigt werden können und Aktualisierungen.

Fehlerkorrekturen: AUC Konfidenzgrenzen für Perzentil und normalen Verfahren korrigiert


bootstrap_distr.png


screen_all75.png


screen_all.png