Çok fazla test yapmak yanlış pozitif sonucu artırır mı?

Bir veri setinde çok sayıda değişken, alt grup ve zaman noktası olduğunda yüzlerce p değeri üretmek kolaydır. Ancak her yeni test, yalnızca yeni bilgi değil, tesadüfen “anlamlı” bir sonuç bulma olasılığı da getirir.

Bu durum çoklu karşılaştırma problemi olarak bilinir. Sorun p değerinin kendisinden değil, araştırmacının aynı bilimsel iddia etrafında kaç fırsat oluşturduğundan kaynaklanır.

Basit bir olasılık örneği

Tek bir doğru sıfır hipotezini α=0,05 düzeyinde sınadığınızda yanlış pozitif sonuç olasılığı %5’tir. Birbirinden bağımsız 20 doğru sıfır hipotezi sınandığında en az bir yanlış pozitif sonuç görme olasılığı yaklaşık olarak:

1 − (1 − 0,05)^20 ≈ 0,642

yani %64’tür. Gerçek testler her zaman bağımsız değildir; bu sayı doğrudan her araştırmaya uygulanamaz. Fakat temel mesaj açıktır: test sayısı arttıkça en az bir tesadüfi anlamlılık görme ihtimali yükselir.

Hangi sonuçlar aynı hipotez ailesindedir?

Düzeltme kararında önce hangi testlerin aynı bilimsel soruya ait olduğu tanımlanmalıdır. Örneğin:

• Aynı tedavinin beş birincil belirteç üzerindeki etkisi,
• Üç grubun tüm ikili post-hoc karşılaştırmaları,
• Aynı ölçeğin çok sayıdaki alt boyutu,
• Aynı sonuç için tekrarlanan alt grup analizleri

aynı hata ailesi içinde düşünülebilir. Çalışmadaki tüm p değerlerini tek torbaya koymak kadar, birbirine bağlı hiçbir testi birlikte değerlendirmemek de sorunludur.

En güçlü çözüm: birincil sonucu önceden belirlemek

İstatistiksel düzeltmeden önce araştırma tasarımı gelir. Birincil sonuç ve temel karşılaştırma protokolde açıkça tanımlandığında:

• Araştırmanın ana iddiası netleşir,
• Örneklem hesabı doğru sonuca bağlanır,
• Keşfedici analizler ikincil sonuçlardan ayrılır,
• Sonuç seçme riski azalır.

Veriyi gördükten sonra “en anlamlı” sonucu birincil ilan etmek, çoklu test sorununu görünmez hâle getirir.

Bonferroni düzeltmesi ne zaman kullanılır?

Bonferroni yöntemi anlamlılık eşiğini test sayısına böler. Basit, şeffaf ve aile düzeyindeki yanlış pozitiflik olasılığını güçlü biçimde kontrol eden bir yaklaşımdır. Ancak çok sayıda ve ilişkili testte aşırı koruyucu olabilir; gerçek etkileri saptama gücünü azaltabilir.

Bu nedenle Bonferroni “her çoklu testte otomatik çözüm” değildir.

Holm ve FDR yaklaşımları ne sağlar?

• Holm yöntemi: P değerlerini sıralı biçimde değerlendirir ve Bonferroni’ye göre genellikle daha güçlüdür; aile düzeyindeki hatayı kontrol eder.
• Yanlış keşif oranı (FDR): Çok sayıda keşfedici testte, anlamlı ilan edilen sonuçlar içindeki beklenen yanlış keşif oranını kontrol etmeyi amaçlar.
• Tukey veya Dunnett: ANOVA sonrasında belirli post-hoc karşılaştırma yapılarına uygundur.

Seçim; doğrulayıcı mı keşfedici mi çalışıldığına, test sayısına, karşılaştırma yapısına ve yanlış pozitif/yanlış negatif sonuçların önemine bağlıdır.

Alt grup analizleri neden özellikle risklidir?

Yaş, cinsiyet, hastalık şiddeti, merkez ve tedavi uyumu gibi çok sayıda alt grupta ayrı ayrı test yapmak tesadüfi bulguları artırabilir. Bir alt grupta anlamlı, diğerinde anlamsız sonuç görmek; grupların etkisinin gerçekten farklı olduğunu kanıtlamaz.

Alt gruplar arasındaki farklılık doğrudan etkileşim testiyle değerlendirilmelidir. Alt grup analizlerinin önceden planlanmış mı yoksa keşfedici mi olduğu açıkça yazılmalıdır.

Çoklu test düzeltmesi yapılmadığında ne yazılmalı?

Bazı keşfedici veya sınırlı ikincil analizlerde düzeltme yapılmaması gerekçelendirilebilir. Bu durumda:

• Testlerin keşfedici olduğu,
• Sonuçların doğrulama gerektirdiği,
• Etki büyüklüğü ve güven aralıklarının öncelendiği,
• Kesin çıkarım yapılmadığı

açıkça belirtilmelidir. “Düzeltme yapmadık” demek, çoklu test etkisini yok saymak anlamına gelmemelidir.

Raporlama kontrol listesi

• Birincil ve ikincil sonuçları ayırın.
• Aynı ailedeki karşılaştırmaları tanımlayın.
• Düzeltme yöntemini ve nedenini yazın.
• Düzeltilmiş p değerlerini veya düzeltilmiş eşiği belirtin.
• Etki büyüklüğü ve güven aralığını raporlayın.
• Keşfedici alt grup analizlerini açıkça etiketleyin.
• Yalnızca anlamlı sonuçları seçerek sunmayın.

Klinik hipotez yapınız için tıpta uzmanlık tez analizi, yayın odaklı kontrol için sağlık bilimleri makale analizi sayfalarımızı inceleyebilirsiniz.

Kaynaklar

• Holm, S. (1979). A simple sequentially rejective multiple test procedure.
• Benjamini, Y. ve Hochberg, Y. (1995). Controlling the false discovery rate.
• Andrade, C. (2019). Bonferroni ve Hochberg düzeltmeleriyle yanlış pozitiflik kontrolü.