Bir sonucun istatistikte "anlamlı" çıkması, önemli olduğu anlamına gelmiyor. Hatta tam tersi de mümkün: Beş puanlık bir IQ artışı "anlamlı değil" sayılabilirken, yarım puanlık bir artış anlamlı kabul edilebiliyor.
Kilit nokta p değeri. Bu sayı şunu soruyor: Ortada gerçek bir etki yoksa, sırf tesadüfen en az bu kadar büyük bir fark görme ihtimali ne? Örneğin p=0,06, gerçekte hiçbir fark yokken böyle bir sonucun şans eseri çıkma ihtimalinin yaklaşık %6 olduğunu söylüyor. Bulgunun %94 ihtimalle doğru olduğunu söylemiyor; bu karışıklığa bilim insanları bile düşüyor.
Bilim dünyasında 0,05'in altı "anlamlı" kabul ediliyor. Bu sınır bir doğa yasası değil: İngiliz istatistikçi Ronald Fisher 1920'lerde pratik bir kural olarak önerdi, zamanla da katılaşıp genelgeçer hale geldi. Bu yüzden p=0,049 bir keşif gibi karşılanırken p=0,051 hiçbir şey bulunmamış gibi görülebiliyor.
İstatistikteki "anlamlı", günlük dildeki "önemli" demek değil; sadece sonucun eşiği aştığını gösteriyor. 40.000 kişilik bir çalışmada yarım puanlık bir IQ artışı bile p<0,001 ile eşiği geçebiliyor, ama pratikte bu fark önemsiz. Daha küçük bir çalışmada beş puanlık bir artış ise p=0,06 ile "anlamlı değil" diye kayda geçebiliyor. Yani "anlamlı değil", "fark yok" demek de değil; örneklem küçükse gerçek bir fark gözden kaçabiliyor.
Eşiğe bu kadar anlam yüklenmesi araştırmacıları da ayartabiliyor: Sonuç 0,05'in altına inene kadar deneye katılımcı eklemek ya da birçok değişkeni test edip sadece tutanı yayımlamak, ortada etki yokken bile "anlamlı" sonuç bulma ihtimalini şişiriyor. Yine de çözüm p değerini çöpe atmak değil. Asıl mesele, onu tek başına hakem saymak yerine şu soruyla birlikte okumak: Fark gerçekte ne kadar büyük?
✏️ Çeviren: Onur Şimşek · Editör: Damla Şahin Uçar
Fotoğraf: Chidera Faustina Okeke / Unsplash
7 görüntülenme