Printer Friendly

ROC Analizine Bir Aecenek: LOWESS Yontemi/An Alternative to ROC Analysis: LOWESS.

Oz

Amac: Klinik bir taniya karar verme surecinde, surekli bir veri icin ikili siniflandirma sisteminde optimum kesim noktasi arastirilirken cogunlukla ROC (alici isletim karakteristigi) analizi tercih edilir. Optimum kesim noktasi, duyarlilik ve secicilik arasindaki iliskinin grafiksel bir gosterimi olan ROC egrisinden tespit edilir. Ancak ROC egrisindeki kesim noktasinin cok net belirlenemedigi durumlarda, ROC egrilerinde duzlestirmenin onemini vurgulanmistir. Bu calismanin amaci, ROC egrilerine Kernel duzlestirme yonteminin uygulanmasi yerine bir secenek olarak LOWESS (yerel agirlikli sacilim grafigini duzlestirme) yonteminin kullanilmasini onermek ve bir uygulama ile gostermektir.

Yontemler: ROC yontemi yerine onerilen LOWESS yontemi, karmasik iliskileri bir regresyon denklemiyle ifade etmek yerine daha cok gorsel bir ifade icin tercih edilir. Calismamizda, ROC egrisi ve LOWESS yontemiyle elde edilen egrilerde net ve dogru kesim noktalarinin bulunmasi bir uygulama ile irdelenmis ve yontemler tartisilmistir. Uygulamada ise, akciger rezeksiyonu sirasinda asiri sivi uygulamasinin akciger yaralanmasi icin bir risk faktoru oldugu bilindiginden; postoperatif pulmoner komplikasyon varligi icin anlamli risk faktorleri olarak; intraoperatif sivi infuzyon artis hizi, ARDS (akut respiratuar distres sendromu), AAH (akut akciger hasari), pnomoni, atelektazi, bronkoskopi ihityaci ve hava kacagi/yoklugu kullanilmistir.

Bulgular: Kesim noktasinin, ROC yontemine gore 5,5-6 mL/kg/h arasindaki bir noktada olabilecegi dusunulurken, LOWESS yontemine gore ise 6,125 mL/kg/h noktasinda olacagi saptanmistir.

Sonuc: Siniflama yaparken; egrilerin daha iyi yorumlanabilmesi ve kesim noktasinin daha iyi belirlenmesi icin ROC egrisine karsi bir secenek olarak parametrik olmayan LOWESS duzlestirme yonteminin kullanilmasi onerilmektedir.

Anahtar kelimeler: LOWESS, ROC egrisi, duzlestirme

Abstract

Objective: Receiver operating characteristic (ROC) analysis is commonly preferred for the dichotomous classification of a continuous random variable in the process of determination of the optimum cut-off point. The optimum cut-off point can be detected using ROC curve, which is a graphic presentation of the relationship between sensitivity and specificity. In the circumstances where the optimum cut-off point cannot be determined properly using ROC curves, the importance of smoothing is emphasized. In this study, it is proposed to use as an alternative locally weighted scatterplot smoothing (LOWESS) instead of ROC curves with Kernel smoothing.

Methods: In our study, determination of the accurate and clear cut-off point obtained using the curves belonging to ROC and LOWESS techniques was discussed by means of an application. Excessive fluid administration during lung resection is a risk for pulmonary injury. The significant risk factors for the presence of postoperative pulmonary complications are the infusion rate of intraoperative fluids, acute respiratory distress syndrome, acute lung injury, pneumonia, atelectasis, need for toilet bronchoscopy, prolonged air leak, and failure to expand were used in the application.

Results: According to the ROC analysis, the cut-off point should have been between 5.5-6mL/kg/h, but according to the LOWESS method, it was determined to be 6.125mL/kg/h.

Conclusion: For the dichotomous classification, to interpret curves and to determine cut-off points perfectly, LOWESS smoothing non parametric method is strongly recommended instead of the non-parametric ROC curve.

Keywords: LOWESS, ROC curve, smoothing

GIRIS

Model tahmini icin genelde uc temel yaklasim vardir. Bunlar, parametrik, parametrik olmayan (nonparametric) ve yari parametrik (semiparametric) regresyon yaklasimlaridir.

Parametrik regresyon yaklasiminda cok fazla varsayima ihtiyac duyulur. Hata teriminin dagilim fonksiyonunun bilinir oldugu ve genelde normal dagildigi ayrica Y bagimli degiskeni ile X aciklayici degiskenleri arasinda dogrusal iliski oldugu ve [beta] parametrelerinin sonlu sayida oldugu varsayilir. Ancak bu varsayimlarin yerine gelmesinin zorlugu nedeniyle parametrik yaklasimda sonuclarin guvenilirligi genelde tartismalidir.

Parametrik olmayan regresyon yaklasiminda ise, hicbir varsayimda bulunulmamakla birlikte hata teriminin dagilimi ile ilgili herhangi bir varsayim yapilmaz, ayrica aciklayici degiskenler arasindaki fonksiyonel yapi icin bir varsayimda bulunulmaz ve [beta] parametreler vektorunden de bahsedilmez. Ancak aciklayici degisken sayisinin fazla olmasi durumunda, model tahmini zorlastigi gibi yorumlanmasinda da sorunlar yasanir.

Yari parametrik regresyon yontemi ise, parametrik model varsayimlarinin saglanamamasi durumunda parametrik ve parametrik olmayan yaklasimlarin en iyi yonlerini alir. Hata terimi dagilimi hakkinda bir varsayimda bulunulmasa bile modelden tahmin edilebilecegi ve parametrik yaklasimda oldugu gibi Y bagimli degiskeni ile X aciklayici degiskenleri arasindaki iliskinin dogrusal oldugu varsayilir. Bu varsayimin disinda baska ek varsayimlara gereksinim duyulmadigindan bazen bu modellere kismi dogrusal model (partially linear model) de denmektedir (1).

Klinik bir taniya karar verme surecinde ROC (Receiver Operating Characteristic, alici isletim karakteristigi) analizi, lojistik regresyon vb. bircok yontemden faydalanilir. Bu surecte ozellikle surekli bir veri icin ikili siniflandirma sisteminde optimum kesim noktasi arastirilirken cogunlukla ROC analizi tercih edilir. Gunumuzde tip, radyoloji, psikoloji, makine ogrenme teknikleri, veri madenciligi ve benzer alanlarda oldukca fazla kullanilan ROC analizi yontemi, parametrik olmayan bir yaklasimdir. ROC analizi basit anlamda dogru pozitiflerin, yanlis pozitiflere olan kesri olarak da ifade edilebilir (2). Optimum kesim noktasi, duyarlilik ve secicilik arasindaki iliskinin grafiksel bir gosterimi olan ROC egrisinden tespit edilir. Ancak bazen ROC egrilerinde kesim noktasi cok net secilemeyebilir. Bu tip durumlar icin Lloyd, tani/tarama sistemlerini karsilastirmak ve ROC egrilerini ozetlemek icin 'smoothing' yani duzlestirme, bir baska deyisle yumusaklastirma kullanilmasinin onemi vurgulamistir (3). Ozellikle gorsel olarak grafiklerle ifade edilebilen parametrik olmayan ROC analizi icin en cok Kernel duzlestirme yontemi tercih edilmektedir. Boylece kesim noktasi daha netlesmekte ayrica duzlestirilen ROC egrileri altinda kalan alanlar daha iyi karsilastirilabilmektedir (4). Parametrik olmayan regresyona dayanan LOWESS (yerel agirlikli sacilim grafigini duzlestirme) duzlestirme yontemiyle elde edilen egri ile Kernel duzlestirme yontemi kullanilarak elde edilen ROC egrisinin hemen hemen ayni sonuclari verdigi bilinmektedir. LOWESS duzlestiricinin bir cesit Kernel duzlestirici oldugu soylenebilir; ancak aralarinda bazi farkliliklar vardir (5).

Bu calismada, parametrik olmayan ROC egrilerine Kernel duzlestirme yonteminin uygulanmasi yerine bir secenek olarak yine parametrik olmayan regresyona dayanan LOWESS duzlestirme yonteminin kullanilmasi tartisilmis ve bir uygulama ile sunulmustur (6).

YONTEMLER

Bu calismada yer alan 139 hasta, Ocak 2012-Eylul 2013 tarihleri arasinda Marmara Universitesi Hastanesi'nde anatomik akciger rezeksiyonu gecirmis ve onamlariyla birlikte Marmara Universitesi Tip Fakultesi Etik Kurulu'na sunulmus ve onaylanmistir (2013-309).

Calismanin analizinde, 1979 yilinda Cleveland tarafindan gelistirilmis ve sunulmus olan LOWESS yontemi kullanilmistir. LOWESS yerel agirliklandirilmis regresyonlarin duzlestirilmis serpilme grafiginin adidir ve karmasik iliskileri bir regresyon denklemiyle ifade etmek yerine daha cok gorsel bir ifade icin tercih edilir. LOWESS yontemi ve LOESS yontemi (yerel polinomial regresyon) genelde aynidir. Bu modeller, verileri parcalara ayirir ve her bir parcada ayri regresyonlar (piecewise regression) olusturur, sonra bu yerel agirliklandirilmis regresyonlari birbirine duzlestirerek baglar ve bir grafikle sunar.

Istatistiksel analizler icin kullanilan paket program STATA (Texas, ABD)'dir.

BULGULAR

Akciger rezeksiyonu sirasinda asiri sivi uygulamasinin akciger yaralanmasi icin bir risk faktoru oldugu bilinmektedir. Calismaya alinan, intraoperatif sivi infuzyon artis hizi, ARDS (akut solunum yolu yetersizligi sendromu), ALI (akut akciger hasari), pnomoni, atelektazi, bronkoskopi ihtiyaci ve hava kacagi/yoklugu parametreleri; postoperatif pulmoner komplikasyon varligi icin anlamli risk faktorlerini olusturmaktadir. ROC egrisine gore intraoperatif sivi infuzyon artis hizi parametresi icin postoperatif pulmoner komplikasyon olusmasi/olusmamasini ayristiracak optimum kesim noktasi degerinin; duyarlilik %55 ve (1-ozgulluk) %30 ile 5,5-6 mL/kg/h arasindaki bir noktada olabilecegi on gorulmustur (Sekil 1). Egri altinda kalan alan ise 0,67'dir (p=0,001).

Grafik yontemine dayanan ve parametrik olmayan regresyon yontemi olan LOWESS duzlestiriciye gore analiz yapildiginda ise daha hassas ve dogru bir sonuc olan 6,125 noktasinin onemli ayristirici noktaya sahip oldugu gorulmektedir (Sekil 2).

TARTISMA

Alici isletim karakteristigi analizinde yari parametrik yaklasimin, parametrik ve parametrik olmayan yaklasimlara gore daha iyi sonuclar verdigi gosterilmistir (7).

Bu calismada, her ne kadar parametrik olmayan ROC egrilerine Kernel duzlestirme yonteminin uygulanmasi yerine, yine parametrik olmayan LOWESS duzlestirme yonteminin kullanilmasi onerilse de, Bauer (9) dogrusal olmayan iliskiler icin gerceklestirilen LOWESS regresyona secenek olarak yari parametrik modelleme olan SEMM'in (Yapisal Esitlik Karisim Modeli) kullanilmasini onermistir. Soz konusu duzlestirme yonteminin gecmisi ozellikle LOWESS parametrik olmayan regresyona dayandigindan LOWESS duzlestirme yontemi bu nedenle buyuk onem tasimaktadir (8-10). LOWESS yonteminin SEMM'e karsi en zayif yonu verilerin bir regresyon denklemi seklinde karakterize edilememesidir. Cunku LOWESS yontemi daha cok egrileri duzlestirme algoritmalari uzerine yonelik olup gorsel olma ozelligi ile one cikar. Bu da, parametrik olmayan yontemin en onemli zayifligi sayilmaktadir. Cunku LOWESS tamamen parametrik olmayan bir yontem iken, SEMM ise yari parametrik bir yontemdir. SEMM ile dogrusal olmayan etkileri az da olsa dagilim varsayimlari karsiliginda test etmek soz konusudur ancak boyle bir durum LOWESS yonteminde gerceklesemez. SEMM yonteminin en onemli dezavantaji cok teknik bir yontem olmasi ve bilgisayar programlarinda kullaniminin zorlugudur. Bu nedenlerden dolayi, LOWESS yontemi SEMM yontemine karsi iyi bir secenek olmaktadir.

Diger yandan, LOWESS duzlestirme yontemiyle elde edilen egri ile Kernel duzlestirme yontemi kullanilarak elde edilen ROC egrisi arasindaki en onemli fark, LOWESS yonteminin veri setinde bulunan 'uc noktalar'in olumsuz etkilerini bertaraf etme ozelligine sahip olmasidir. Bu ozellik nedeniyle LOWESS yontemi Kernel duzlestirme yontemine gore daha cok tercih edilir.

Yerel agirlikli sacilim grafigini duzlestirme modelinde oncelikle yerel polinomiyal regresyonlar olusturulur ve sonra birbirlerine baglanir ancak yerel egriler birbirlerine baglanirken duzlestirilerek baglama yapilir. Gerceklesen bu egrileri duzlestiren baglama teknigi ise, parametrik olmayan modellerin en onemli ozelligini olusturur (11). LOWESS yonteminin bir cesit regresyon grafigi yontemi olmasi ozelligiyle, STATA, SAS/INSIGHT ve R-CODE gibi bir takim yazilim ve istatistiksel paket programlarinda yer almakta ve ayrica kolayca kullanilmaktadir (7, 8, 12).

ROC egrisindeki kesim noktasinin daha gercege yakin, dogru ve net olarak belirlenmesinde gucluk cekildiginde, yari parametrik bir yontem olan SEMM'in cok teknik bir yontem olmasi ve bilgisayar programlarinda kullaniminin zorlugu nedeniyle ve ayrica KERNEL duzlestirme yonteminin de veri setindeki uc noktalardan etkilenmesi sonucu iyi bir egri vermemesi nedeniyle, egrinin daha iyi yorumlanabilmesine secenek olarak parametrik olmayan LOWESS duzlestirme yonteminin kullanilmasi onerilmektedir.

SONUC

Elde edilen kesim noktasi ozellikle klinik olarak degerlendirildiginde de, grafik yonteme dayanan ve parametrik olmayan regresyon yontemi olan LOWESS duzlestirici yonteminin, yine parametrik olmayan ve sikca tercih edilen ROC yontemine karsi daha iyi sonuclar verdigi gorulmustur.

Etik Komite Onayi: Bu calisma icin etik komite onayi Marmara Universitesi Tip Fakultesi Etik Kurulu'ndan alinmistir (Karar No: 2013-309).

Hasta Onami: Yazili hasta onami bu calismaya katilan hastadan alinmistir.

Hakem Degerlendirmesi: Dis Bagimsiz.

Yazar Katkilari: Fikir - N.B., H.B.; Tasarim - N.B.; Denetleme - N.B., H.B.; Kaynaklar - N.B., H.B.; Malzemeler - N.B., H.B.; Veri Toplanmasi ve/veya islemesi - N.B., H.B., M.S.; Analiz ve/veya Yorum - N.B.; Literatur taramasi - N.B., H.B.; Yaziyi Yazan - N.B.; Elestirel Inceleme - N.B., H.B.

Cikar Catismasi: Yazarlar cikar catismasi bildirmemislerdir.

Finansal Destek: Yazarlar bu calisma icin finansal destek almadiklarini beyan etmislerdir.

Ethics Committee Approval: Ethics committee approval was received for this study from the ethics committee of Marmara University School of Medicine (Decision No: 2013-309).

Informed Consent: Written informed consent was obtained from patient who participated in this study.

Peer-review: Externally peer-reviewed.

Author contributions: Concept - N.B., H.B.; Design - N.B.; Supervision - N.B., H.B.; Resource - N.B., H.B.; Materials - N.B., H.B.; Data Collection &/or Processing - N.B., H.B., M.S.; Analysis &/or Interpretation - N.B.; Literature Search - N.B., H.B.; Writing - N.B.; Critical Reviews - N.B., H.B.

Conflict of Interest: No conflict of interest was declared by the authors.

Financial Disclosure: The authors declared that this study has received no financial support.

KAYNAKLAR

(1.) Akkus O, Demir S, Karasoy D. Iki duzeyli bagimli degisken modelinin yari parametrik tahmini. Istatistikciler Dergisi 2008; 135-43.

(2.) Swets JA. Signal detection theory and ROC analysis in psychology and diagnostics: collected papers; Lawrence Erlbaum Associates, Publishers 1996 Mahwah, New Jersey.

(3.) Lloyd CJ. Using smoothed receiver operating characteristic curves to summarize and compare diagnostic systems. J Am Stat Assoc 1998; 93: 1356-64. [CrossRef]

(4.) Zhou XH, Harezlak J. Comparison of bandwidth selection methods for kernel smoothing of ROC curves. Stat Med 2002; 21: 2045-55. [CrossRef]

(5.) Irizarry RA. Kernel Methods, Chapter 6: 96-106.

(6.) Tang LL, Zhou XH. A semiparametric separation curve approach for comparing correlated ROC data from multiple markers. J Comput Graph Stat 2012; 21: 662-76. [CrossRef]

(7.) Colak E, Mutlu F, Bal C, Oner S, Ozdamar K, Gok B, et al. Comparison of semiparametric, parametric, and nonparametric roc analysis for continuous diagnostic tests using a simulation study and acute coronary syndrome data. Comput Math Methods Med 2012; 1-7. [CrossRef]

(8.) Pek J, Sterba SK, Kok BE, Bauer DJ. Estimating and visualizing nonlinear relations among latent variables: a semiparametric approach. Multivariate Behav Res 2009; 44: 407-36. [CrossRef]

(9.) Bauer DJ. Structural equation modeling: a semiparametric approach to modeling nonlinear relations among latent variables, 12(4). Lawrence Erlbaum Associates, Inc. 2005: 513-35.

(10.) Bauer DJ, Baldasaro RE, Gottfredson NC. Diagnostic procedures for detecting nonlinear relationships between latent variables. Struct Equ Modeling 2012; 19: 157-77. [CrossRef]

(11.) Afifi CA, Clark VA, May S. Computer Aided Multivarite Analysis. Chapman&Hall/CRC. 2004: 111-113.

(12.) Jacoby WG. Loess: a nonparametric, graphical tool for depicting relationships between variables. Electoral Studies 2000; 19: 577-613. [CrossRef]

Nural Bekiroglu (1), Hasan Batirel (2)

(1) Marmara Universitesi Tip Fakultesi, Biyoistatistik Anabilim Dali, Istanbul, Turkiye

(2) Marmara Universitesi Tip Fakultesi, Gogus Cerrahisi Anabilim Dali, Istanbul, Turkiye

Sorumlu Yazar/Correspondence Author: Nural Bekiroglu E-posta/E-mail: nural_bekiroglu@hotmail.com

Gelis Tarihi/Received: 29.01.2016 Kabul Tarihi/Accepted: 24.11.2016 Cevrimici Yayin Tarihi/Available Online Date: 28.03.2017 DOI: 10.5152/clinexphealthsci.2017.148
COPYRIGHT 2017 AVES
No portion of this article can be reproduced without the express written permission from the copyright holder.
Copyright 2017 Gale, Cengage Learning. All rights reserved.

Article Details
Printer friendly Cite/link Email Feedback
Title Annotation:Ozgun Arastirma / Original Article; Receiver operating characteristic analysis
Author:Bekiroglu, Nural; Batirel, Hasan
Publication:Clinical and Experimental Health Sciences
Article Type:Report
Geographic Code:7TURK
Date:Jun 1, 2017
Words:2335
Previous Article:Improving the Hamstrings-to-Quadriceps Strength Ratio in Sedentary Women: Comparison of Stabilization Training and Aerobic Training After a 6-Months...
Next Article:Riboflavin Treatment Reduces Apoptosis and Oxidative DNA Damage in a Rat Spinal Cord Injury Model/Omurilik Hasari Olusturulan Sican Modelinde...
Topics:

Terms of use | Privacy policy | Copyright © 2019 Farlex, Inc. | Feedback | For webmasters