Kısa cevap

ROC analizinde tek ve her koşulda geçerli bir ‘en iyi’ cut-off yoktur. Youden indeksi yararlı bir başlangıçtır; fakat yanlış pozitif ve yanlış negatif kararların klinik sonuçları, hastalık sıklığı, çalışmanın amacı ve dış doğrulama bulguları birlikte değerlendirilmelidir.

ROC eğrisi, sürekli bir ölçümün hedef durumu ayırt etme becerisini farklı eşik değerleri boyunca gösterir. Ancak araştırmacının uygulamada ihtiyaç duyduğu şey çoğu zaman yalnızca AUC değildir: “Hangi değerin üzerini pozitif kabul etmeliyim?” sorusuna da yanıt gerekir.

Bu sorunun cevabı yazılımın işaretlediği tek satırdan ibaret değildir. Cut-off seçimi istatistiksel olduğu kadar klinik bir karardır.

AUC ile cut-off aynı şeyi anlatmaz

Eğri altında kalan alan (AUC), testin hasta ve hasta olmayan bireyleri genel olarak ne ölçüde ayırabildiğini özetler. Cut-off ise bu sürekli ölçümün hangi noktada pozitif ve negatif olarak sınıflandırılacağını belirler.

AUC, tüm olası eşikleri birlikte değerlendirir.
Cut-off, belirli bir karar noktasındaki duyarlılık ve özgüllüğü tanımlar.
Aynı AUC değerine sahip iki test, klinik olarak farklı eşik davranışları gösterebilir.

Bu nedenle yalnızca “AUC anlamlı bulundu” demek, klinik kullanım için yeterli değildir. AUC’nin %95 güven aralığı, seçilen eşikteki duyarlılık ve özgüllük ile bu değerlerin belirsizliği de raporlanmalıdır. ROC eğrisinin temel yorumunu önce görmek isterseniz ROC eğrisi rehberimizi inceleyebilirsiniz.

Youden indeksi ne yapar?

Youden indeksi genellikle duyarlılık + özgüllük − 1 olarak tanımlanır. Bu değeri en yüksek yapan eşik, yanlış pozitif ve yanlış negatif sonuçların önemini eşit kabul eden bir denge noktası sunar.

Bu yaklaşım şu durumlarda yararlıdır:

Araştırmanın keşfedici nitelikte olması,
Duyarlılık ve özgüllüğe benzer ağırlık verilmesi,
Önceden tanımlanmış klinik bir eşik bulunmaması.

Ancak “Youden en yüksek, o halde klinik eşik kesinlikle budur” sonucu doğru değildir. Youden indeksi karar maliyetlerini, prevalansı ve uygulamadaki sonuçları kendiliğinden hesaba katmaz.

Klinik amaç cut-off seçimini nasıl değiştirir?

Bir tarama testinde olguyu kaçırmanın bedeli yüksekse duyarlılık öncelenebilir. Doğrulama amacıyla kullanılan pahalı veya girişimsel bir testte ise yanlış pozitifleri azaltmak için özgüllük daha fazla önem kazanabilir.

Örneğin:

Tarama amacı: Daha düşük eşik, daha yüksek duyarlılık; daha fazla yanlış pozitif kabul edilebilir.
Doğrulama amacı: Daha yüksek eşik, daha yüksek özgüllük; bazı gerçek olguların kaçırılması göze alınabilir.
Tedavi kararı: Yanlış sınıflandırmanın hasta açısından doğuracağı yarar ve zarar ayrıca tartılmalıdır.

Bu öncelikler analizden sonra üretilmemeli; mümkünse protokol aşamasında gerekçelendirilmelidir.

Veri içinden seçilen eşik neden fazla iyimser olabilir?

Cut-off aynı örneklemde hem seçilip hem değerlendirildiğinde performans olduğundan iyi görünebilir. Özellikle küçük örneklemlerde birkaç gözlem eşik değerini belirgin biçimde değiştirebilir.

Savunulabilir bir yaklaşım için:

Eşiğin önceden belirlenip belirlenmediğini açıkça yazın.
Veri içinden seçildiyse bunun keşfedici olduğunu belirtin.
Cut-off ve ilişkili ölçüler için güven aralıklarını değerlendirin.
Mümkünse farklı bir örneklemde dış doğrulama yapın.
Alternatif eşiklerdeki klinik sonuçları duyarlılık analiziyle gösterin.

STARD 2015 da test pozitifliği eşiklerinin önceden mi belirlendiğini yoksa keşfedici mi seçildiğini açıkça raporlamayı ister.

ROC cut-off raporunda neler bulunmalı?

En az şu bilgiler yer almalıdır:

İndeks test ve referans standardının tanımı,
AUC ve %95 güven aralığı,
Cut-off seçme ölçütü ve gerekçesi,
Seçilen eşikte duyarlılık ve özgüllük,
Bu ölçülere ait %95 güven aralıkları,
Pozitif ve negatif öngörü değerleri veriliyorsa çalışmadaki prevalans,
Eksik veya belirsiz sonuçların nasıl ele alındığı,
Eşiğin önceden tanımlanmış mı yoksa veri odaklı mı olduğu.

Tanı doğruluğu analizinizin tamamı için biyoistatistik hizmetimizi; tez sürecine özel planlama için tıpta uzmanlık tez analizi sayfamızı inceleyebilirsiniz.

Sık yapılan dört hata

AUC’nin anlamlı olmasını testin klinik olarak yeterli olduğuna eşitlemek.
Youden indeksini klinik bağlamdan bağımsız “mutlak doğru eşik” saymak.
Aynı veride seçilen cut-off’u dış doğrulama olmadan genellemek.
Duyarlılık ve özgüllüğü güven aralığı vermeden raporlamak.

Kaynaklar

Bossuyt, P. M. ve ark. (2015). STARD 2015: tanı doğruluğu çalışmalarının raporlanması.
Lai, C.-Y., Tian, L. ve Schisterman, E. F. (2012). Youden indeksi ve uygun cut-off için güven aralığı.
López-Ratón, M. ve ark. (2016). Sürekli tanı testlerinde uygun cut-off için güven aralıkları.

İlgili hizmetler

Bu konuda nasıl destek alabilirsiniz?

Biyoistatistik analizi ROC, AUC, cut-off, duyarlılık ve özgüllük analizlerini klinik araştırma sorunuza göre planlayın. Tıpta uzmanlık tez analizi Uzmanlık tezinizi veri kontrolünden yayın standardındaki bulgu raporuna kadar ilerletin. Sağlık bilimleri makale analizi Tanı doğruluğu sonuçlarını güven aralıkları ve uygun tablolarla raporlayın. İstatistik danışmanlığı Araştırma sorusundan raporlamaya kadar yöntem planınızı uzmanla değerlendirin.

Sonraki adım

Cut-off kararınızı yalnızca yazılım çıktısına bırakmayın

Testin kullanım amacı, referans standardı ve klinik öncelikleriyle birlikte ROC planınızı değerlendirelim.

ROC analizinizi değerlendirelim Telefonla görüşün

ROC eğrisinde cut-off nasıl belirlenir?