P Değeri Nedir ve Gerçekte Ne Anlama Geliyor?

Daha önce bir bilimsel makaleyi incelemeyi denediysek kesinlikle bir p değeri ile karşılaşmışızdır. Şayet bu kavram kafamızı karıştırdıysa kesinlikle yalnız değiliz, zira günümüzde aktif olarak araştırmalarını sürdüren birçok bilim insanı dahi bu değeri yanlış anlıyor.

p değeri, bir deneyin istatistiki anlamlılık düzeyini ölçen bir sayıdır ve sıklıkla o araştırmanın sahiden yeni bir şey keşfedip keşfetmediğini belirleyen nihai hakem muamelesi görür. Araştırmacıların, bir ilacın bir etki yarattığını ya da bir grubun diğerinden farklı olduğunu iddia edip edemeyeceklerini belirleyen şey budur.

Akademik kariyerler, bilimsel yayınlar ve dünyaya dair genel anlayışımız tümüyle p değerlerine bağlıdır. Dolayısıyla bu sayıların gerçekte ne anlama geldiğini kavramamız büyük önem taşır çünkü çoğumuzun düşündüğünden çok daha farklı bir tabloya işaret ederler.

P Değeri Ne Anlama Geliyor?

Bir ülkedeki yetişkinlerin boy ortalamasının başka bir ülkedekinden daha uzun olup olmadığını öğrenmek istediğimizi varsayalım. Herkesi tek tek ölçmemiz mümkün olmadığından her iki ülkeden ellişer yetişkini örneklem olarak seçeriz.

İlk örneklemin boy ortalaması 1,80 metre, ikincisinin ise 1,77 metre çıksın. Aradaki 3 cm'lik fark tek başına bize pek az şey söyler çünkü rastlantısal olarak kimlerin seçildiğine bağlı olarak herhangi iki örneklem zaten bir dereceye kadar farklılık gösterecektir. Peki bu fark, bütün bir nüfus genelinde boy ortalamaları arasında gerçek bir fark olduğuna dair güçlü bir kanıt mıdır? Yoksa yalnızca tesadüfi örneklemenin getirdiği bir şans eseri midir?

Bunu anlamak için bir araştırmacı istatistiksel bir test uygular ve bir p değeri elde eder (buradaki p harfinin genellikle olasılık anlamına geldiği kabul edilir). Diyelim ki bu testin sonucunda p=0,06 değeri bulundu. Bunun anlamı şudur: Şayet iki ülke arasında gerçekte hiçbir boy farkı yoksa yalnızca örneklemin rastlantısallığına bağlı olarak en az bu kadar büyük bir farkın ortaya çıkma olasılığı yaklaşık %6'dır.

Şimdi de bu sonucun ne anlama gelmediğine dikkat edelim. Bu sonuç, elde edilen bulgunun bir tesadüf olma ihtimalinin %6 olduğu ya da iki ülkenin gerçekten birbirinden farklı olma ihtimalinin %94 olduğu anlamına gelmez.

p değeri bize, ortada gerçek bir durum yokken bu denli büyük bir farkın gözlenme olasılığını söyler; yoksa ortada gerçek bir durum olmama olasılığını söylemez. İnsanlar bu iki kavramı sürekli birbiriyle karıştırır, konuyu ne kadar iyi bilirsek bilelim bu yanılgıya düşmek oldukça kolaydır.

Eşik Değeri Neden 0,05?

Bilimsel gelenekte 0,05'in altındaki bir p değeri "istatistiki olarak anlamlı" kabul edilir. Boy çalışmamız p = 0,06 değeriyle yayımlanmış olsaydı iki ülke arasında anlamlı bir fark göstermediği şeklinde kayda geçecekti.

Peki 0,05 eşiği nereden geliyor? Aslında özel bir bilimsel zorunluluktan değil. İngiliz istatistikçi Ronald Fisher 1920'lerde bu değeri pratik bir başparmak kuralı olarak önermiş, zamanla bu pratik tercih katılaşarak genelgeçer bir kurala dönüşmüştür.

Anlamlılık sınırı olarak 0,05'in belirlenmesi faydalı bir işlev de görür. Ortada gerçekte hiçbir etki olmasa bile eşiğin 0,05 olarak belirlenmesi, bir çalışmanın sırf şans eseri yirmide bir olasılıkla "anlamlı" bir sonuç üreteceği anlamına gelir.

Bu oran, bilim dünyası olarak tolere etmeyi kabul ettiğimiz yanlış alarm sıklığıdır; yoksa yayımlanan bulguların ne kadarının yanlış olduğuna dair bir iddia değildir. Burada keyfi olan durum, eşiğin yüzde bir ya da onda bir yerine yirmide bir olarak seçilmesidir. Üstelik bu durum oldukça tuhaf sonuçlara yol açar: p=0,049 çıktığında bunu büyük bir keşif olarak nitelendirirken, p=0,051 çıktığında sanki hiçbir şey olmamış gibi davranırız.

"Anlamlı Değil" İfadesi "Fark Yok" Anlamına mı Gelir?

Boy deneyimize dönecek olursak; elde ettiğimiz p=0,06 sonucunu iki ülkedeki insanların eşit boyda olduğunun bir kanıtı sayma eğiliminde olabiliriz. Oysa durum hiç de öyle değildir.

İstatistiki olarak anlamlı bulunmayan bir sonuç, aradaki farkın belirlenen eşiği aşacak kadar sıra dışı olmadığını gösterir. Gerçekteki fark aslında gayet büyük olabilir ancak çalışmamız bu farkı tespit edemeyecek kadar küçük bir örneklemle yürütülmüş ya da çok fazla gürültü içeriyor olabilir. Buradaki gürültü, bireyler arasındaki değişkenliği ifade eder. Ülke içindeki bireylerin boyları kişiden kişiye ne kadar çok farklılaşırsa, aynı 3 cm'lik fark için hesaplanan p değeri de o kadar büyüyecektir.

Bu kavram kargaşasının tersi de en az bunun kadar yaygındır. Günlük dilde anlamlı sözcüğü büyük, dikkate değer ya da önemli anlamlarına gelirken; istatistikte yalnızca bir sonucun belirlenen matematiksel eşiği aştığını ifade eder.

Örneğin 40.000 kişinin katıldığı devasa bir araştırmada, bir ilacın IQ puanını yalnızca yarım puan artırdığının ve p<0,001 çıktığının tespit edildiğini hayal edelim. Bu sonuç istatistiki anlamlılık eşiğini kolaylıkla aşar, buna karşın pratikte yarım IQ puanı tamamen önemsiz bir farktır.

Buna karşılık daha küçük bir araştırmada p=0,06 düzeyinde ortalama beş IQ puanlık bir artış saptandığında, bu etki gerçek olması hâlinde çok daha anlamlı ve değerli olacakken yine de "anlamlı değil" olarak sınıflandırılır.

İşte bu nedenle bir p değerinin daima etki büyüklüğü ile birlikte değerlendirilmesi gerekir. Etki büyüklüğü, genellikle araştırmalarda en çok önem taşıyan soruyu yöneltir: Fark ne kadar büyüktü?

Sonuçları Eşiğin Altına Çekme Dürtüsü: P-Hacking Nedir?

Sonuçların 0,05 eşiğinin altında kalmasına bu denli büyük anlamlar yüklenmesi, araştırmacılar üzerinde ciddi bir ayartma yaratır. Örneğin bir besin takviyesini test eden araştırmacıların 50 katılımcıyla bir deney yürüttüğünü ve p=0,08 sonucunu elde ettiğini varsayalım. Eşiğe can sıkıcı derecede yakın bir sonuçtur bu.

Bunun üzerine araştırmacılar on kişi daha ekleyip testi yineler: p=0,06. Eşiğe daha da yaklaşılmıştır. On kişi daha eklediklerinde değer nihayet 0,05'in altına iner. Araştırmacılar bu noktada durur ve çalışmayı sanki örneklem büyüklüğü en başından beri sabitmiş gibi kaleme alır.

Verileri sürekli gözetleyip eşik aşıldığı anda deneyi durdurmak, ortada gerçek bir durum yokken dahi "anlamlı" bir sonuç elde etme ihtimalini yapay biçimde şişirir. Benzer bir durum, araştırmacıların birçok farklı değişkeni ya da alt grubu test edip yalnızca işe yarayanları yayımlaması durumunda da yaşanır: Yeterince test uygularsanız, sırf şans eseri bir sonuç mutlaka 0,05 sınırının altına inecektir.

Literatürde veri avcılığı olarak adlandırılan bu yönteme araştırmacıların hatırı sayılır sıklıkta başvurduğunu gösteren çok sayıda bilimsel kanıt bulunmaktadır.

P Değerini Tamamen Çöpe mi Atmalıyız?

Kimi bilim insanları kesinlikle terk etmemiz gerektiği görüşünde. 2019 yılında 800'den fazla bilim insanı, istatistiki anlamlılık dilinin tamamen bırakılması yönünde ortak bir çağrı metnine imza attı. Hatta en az bir bilimsel dergi, makalelerde p değerlerinin kullanımını tamamen yasakladı. Öte yandan birçok araştırmacı, bir etkinin ne kadar büyük olabileceğini ve bu etkinin ne kadar kesin tahmin edildiğini ortaya koyan etki büyüklüklerine ve güven aralıklarına çok daha fazla ağırlık verilmesi gerektiğini savunuyor.

Etki büyüklüğüne ve güven aralıklarına vurgu yapmak son derece akılcı bir yaklaşımdır. Ancak p değerlerini tümüyle çöpe atmak aşırıya kaçan bir adım olabilir.

Çünkü p değeri bize faydalı bir bilgi sunar: Ortada gerçek bir etki yokken, en az elimizdeki kadar uç bir sonucun ne sıklıkla ortaya çıkabileceğini gösterir. Asıl sorun, bu sayıyı bir hipotezin doğru olup olmadığının ya da bir bulgunun önem taşıyıp taşımadığının nihai bir yargıcı olarak görmektir.