Klinik tahmin modeli nasıl raporlanır? TRIPOD+AI

Klinik tahmin modelleri bir hastalığın varlığını, prognozu veya belirli bir zaman içindeki olay riskini tahmin etmek için kullanılır. Lojistik regresyon, Cox regresyon, karar ağaçları ve farklı makine öğrenmesi yöntemleri bu amaçla kullanılabilir.

Modelin “yapay zekâ” etiketi taşıması onu otomatik olarak klinik açıdan güvenilir yapmaz. Aynı şekilde yüksek AUC de tek başına yeterli değildir. TRIPOD+AI, tahmin modeli çalışmalarında okuyucunun modeli, veriyi ve performans iddialarını değerlendirebilmesi için gereken raporlama çerçevesini sunar.

TRIPOD+AI yalnızca yapay zekâ modelleri için mi?

Hayır. Güncellenmiş rehber, hem regresyon temelli hem de makine öğrenmesi temelli klinik tahmin modellerinin geliştirilmesi ve performansının değerlendirilmesi için kullanılır.

Şu çalışma türlerini kapsayabilir:

• Yeni bir tanı veya prognoz modelinin geliştirilmesi,
• Mevcut modelin yeni veride doğrulanması,
• Bir modelin güncellenmesi,
• Birden fazla modelin uygun biçimde karşılaştırılması.

Bu rehber bir model kurma algoritması değildir; yapılan çalışmanın şeffaf, eksiksiz ve yeniden değerlendirilebilir biçimde raporlanmasını hedefler.

Geliştirme ve doğrulama aynı şey değildir

Model geliştirme, prediktörlerin ve katsayıların veriden öğrenildiği aşamadır. Doğrulama ise modelin yeni veya ayrılmış veride ne ölçüde çalıştığını inceler.

• İç doğrulama: Bootstrap veya çapraz doğrulama gibi yöntemlerle iyimserliği değerlendirir.
• Dış doğrulama: Modeli farklı zaman, merkez, bölge veya hasta grubunda sınar.

Veriyi tek kez eğitim ve test gruplarına ayırmak, özellikle küçük örneklemde kararsız sonuçlara yol açabilir. Doğrulama yaklaşımı örneklem büyüklüğü ve modelin kullanım amacıyla birlikte planlanmalıdır.

AUC neden tek başına yeterli değildir?

AUC, modelin daha yüksek riskli ve daha düşük riskli bireyleri sıralama becerisi hakkında bilgi verir. Ancak modelin tahmin ettiği olasılıkların gerçek olay oranlarıyla uyumunu göstermez.

Bir klinik tahmin modeli en az iki performans boyutuyla ele alınmalıdır:

• Ayrım (discrimination): Olay yaşayan ve yaşamayan kişileri ayırabilme.
• Kalibrasyon: Tahmin edilen risklerle gözlenen risklerin uyumu.

Kalibrasyon grafiği, kalibrasyon eğimi ve kalibrasyon kesişimi gibi göstergeler; yalnızca tek bir uyum testi vermekten daha açıklayıcı olabilir. Modelin amaçlanan karar sürecine katkısı için klinik yarar analizi de gerekebilir.

Prediktör seçimi neden yalnızca p değerine bırakılamaz?

Tek değişkenli analizde anlamlı çıkanları modele alıp diğerlerini dışlamak yaygın fakat riskli bir yaklaşımdır. Aday prediktörler:

• Klinik bilgiye,
• Önceki kanıta,
• Ölçüm zamanına,
• Uygulamadaki erişilebilirliğe,
• Nedensel ve zamansal mantığa

göre önceden tanımlanmalıdır. Çok sayıda aday prediktörü az sayıda olayla modellemek aşırı uyuma yol açabilir.

Eksik veri ve sınıf dengesizliği nasıl ele alınmalı?

Katılımcıları eksik değer nedeniyle topluca silmek hem bilgi kaybına hem yanlılığa yol açabilir. Eksikliğin miktarı, ele alınma yöntemi ve model doğrulama süreci açıkça raporlanmalıdır. Ayrıntılı kararlar için eksik veri rehberimizi inceleyebilirsiniz.

Nadir olaylarda “doğruluk oranı” yanıltıcı olabilir. Örneğin olay oranı %5 ise herkesi olaysız tahmin eden model %95 doğruluk gösterir ama klinik olarak işe yaramaz. Bu nedenle sınıf dağılımı, duyarlılık, özgüllük, öngörü değerleri, uygun eşikler ve kalibrasyon birlikte değerlendirilmelidir.

Alt gruplarda performans neden önemlidir?

Genel performans kabul edilebilir görünürken model yaş, cinsiyet, merkez veya başka klinik alt gruplarda farklı çalışabilir. TRIPOD+AI; veri kaynağının, katılımcıların, model girdilerinin ve performans farklılıklarının görünür olmasını destekler.

Alt grup sonuçları küçük örneklemde belirsiz olabilir. Bu nedenle yalnızca nokta tahmini vermek yerine güven aralığı ve örneklem sayısı da sunulmalıdır.

Tekrarlanabilirlik için neler açıklanmalı?

• Modelin amaçlanan kullanımı ve hedef kullanıcıları,
• Veri kaynağı ve katılımcı seçimi,
• Sonucun tanımı ve tahmin zamanı,
• Prediktörlerin ölçüm yöntemi,
• Eksik veri yaklaşımı,
• Tüm model katsayıları veya çalışır model tanımı,
• İç ve dış doğrulama yöntemi,
• Ayrım ve kalibrasyon sonuçları,
• Kullanılan yazılım ve analiz koduna erişim,
• Protokol, kayıt ve veri paylaşım durumu,
• Finansman ve çıkar çatışmaları.

Modelin tam tanımı verilmezse başka bir araştırmacının doğrulama yapması veya klinik uygulamayı değerlendirmesi mümkün olmaz.

Tanı testi ile tahmin modeli arasındaki raporlama farkı

Tek bir testin referans standart karşısındaki doğruluğu inceleniyorsa STARD 2015 rehberi öne çıkar. Birden çok değişkeni birleştirerek bireysel olasılık üreten modelde TRIPOD+AI daha uygun çerçevedir. Çalışmanın yapısına göre iki rehberin bazı ilkeleri birlikte de düşünülebilir.

Biyoistatistik analizi ve sağlık bilimleri makale analizi kapsamında modelin kurulması kadar doğrulanabilir ve yayınlanabilir biçimde raporlanmasına da odaklanıyoruz.

Kaynaklar

• Collins, G. S. ve ark. (2024). TRIPOD+AI statement.
• Collins, G. S. ve ark. (2024). TRIPOD+AI: güncellenmiş klinik tahmin modeli rehberi.
• Moons, K. G. M. ve ark. (2015). TRIPOD açıklama ve ayrıntı belgesi.