Bilimde Tekrarlanabilirlik Neden Önemlidir? Sosyal Bilimlerdeki Bazı Deneyler Neden Tekrarlanamıyor?

Bilimin mihenk taşlarından biri tekrarlanabilirliktir. Bunun temel nedeni, yapılan deneylerin tutarlı olup olmadığını görme ihtiyacıdır. Tekrarlanabilirlik, bir deneyin gerçekle ilişkisi olup olmadığını anlamamızı sağlamaktır. Eğer deney tekrarlanabilir değilse doğruluğundan emin olamayız.

Son yıllarda sosyal bilimciler, bulgularının tekrarlanabilirliği ile alakalı derin endişe duymaktadır. Psikolojide inanılmaz etkili bir bulgu olan "benlik kaynaklarının tükenmesi" veya "Marshmallow Testi" gibi konuların hassas olduğunu düşündüğümüz yöntemlerimizi adeta bir yay gibi büktüğünü gördük. Bu nedenle bilim insanları şu ana kadar süregelen yaygınlaşmış metodolojilerinin hatalı pozitif sonuçlar doğurduğunu fark ettiler. Bu olay "tekrarlanabilirlik krizi" olarak da adlandırıldı.

Bir grup sosyal bilimci, en prestijli bilim dergilerinden biri olan Nature ve Science dergilerindeki 21 adet makaleyi tekrarlamaya çalıştı. Popüler kültürde ve bilimde bir hayli etki bırakmış olan, internetteki arama motorlarının hafıza kaybına neden olması ve kitap okumanın çocukların zekalarını geliştirmesi hakkındaki makaleler, bunlardan bazılarıydı.

Araştırmacılar yaptıkları deneyin sonucunu Nature Human Behavior dergisinde yayınladı. Araştırma bulgularından çıkardıkları en büyük sonuç şuydu: En büyük jurnallerde yayınlanan makaleler bile tekrar edilene kadar içlerinde bir miktar şüphe barındırır. Bunlar sadece başlangıç bulgularıdır, gerçeğin tamamı değildir ve birkaç nedenden ötürü çok zor tekrarlanabilirler.

Çalışmalar Tekrarlanınca Heyecanını Kaybedebilir!

Bilim insanlarından oluşan ve 21 deneyi tekrarlayan grup; sadece deneyleri aynı şekilde tekrarlamakla yetinmedi, aynı zamanda çok daha hassas davrandılar. Örneğin bazı durumlarda katılımcı sayısını 5 kat arttırdılar ve deney yöntemini ve analizini not aldılar.

Ulaşılamayan bir grup hariç orijinal makalelerin yazarlarının hepsi bu deney yöntemleri ve analizleri kontrol ettiler ve altına imzalarını attılar. Bu da yöntemden sapılmayacağına ve sonuçlara ön yargı katılmayacağına dair bir güvence sağladı.

Orijinal 21 makalenin 13'ü tekrarlanabilmişti. Ancak makaleler arasında başarıyla tekrarlanabilenlerin bile etki alanı (kontrol grubu ile deney grubu arasındaki fark) yarı yarıya azaldı. Yani orijinal makalelerdeki sonuçlar deneysel manipülasyon nedeniyle abartılmıştı! Avusturyalı ekonomist ve çalışmanın ortak yazarlarından biri olan Felix Holzmeister şöyle diyor:

Genel olarak çalışmamız, istatistiksel olarak anlamlı bilimsel bulguların en tanınmış dergilerde yayınlanmış olsalar bile tekrarlanana kadar oldukça dikkatli bir şekilde yorumlanması gerektiğini göstermektedir.

Bilim Yapmak Zordur!

Tekrar edilen makalelerin birçoğu, birden fazla deney içermekteydi. Her makaleden sadece bir deney tekrar edildi. Bu nedenle aynı sonuçlara ulaşamamak, başarılı bir şekilde tekrar edilemeyen deneylerin baştaki sonuçlarının tamamen yanlış olduğu anlamına gelmemeli.

Örneğin internette bulabileceğimizi bildiğimiz şeyleri hatırlamakla pek uğraşmadığımızı belirten "Hafızaya Google Etkisi" adlı makalenin sonuçları, bu çalışmada tekrarlanamadı. Ancak makalenin Hazırlama Etkisi (İng: "Priming Effect") içerdiğine kanaat getirildi. Hafızaya Google Etkisi deneyi haricindeki deneylerde de bu duruma tatmin edici bir açıklama sağlanmadı. Ancak başka araştırmalar bu deneyin ana argümanını destekler nitelikte sonuç vermekteydi.

Bir deneyin tekrarlanamamasının birden fazla nedeni olabilir. Örneğin deney tekrar edilirken bir şeyler karıştırılmış olabilir. Bir başka neden olarak orijinal deney, yanlış pozitifte takılmış olabilir. Kentucky Üniversitesinden psikolog Will Gervais'in deneylerinden biri de bu tekrarlanamayan deneylerdendir. Deneyinin amacı, "İnsanların daha rasyonel düşünmesini sağlamak onları inançlarından uzaklaştırabilir mi?" sorusuna cevap aramaktı. Gervais, konu hakkında şunları söylüyor:

Sonradan baktığımızda çalışmamız çok saçmaydı.

Bu çalışmada araştırmacılar, denekleri Robin'in Düşünen Adam heykelinin bir resmine bakmalarını istediler ve bunun insanları daha çok düşünmeye sevk edeceğini düşündüler. Bu çalışma Science dergisinde yayınlandı. Gervais, düşüncelerini şöyle aktarıyor:

Onlara Tanrı'ya inanıp inanmadıklarına dair tek bir soru sorduğumuzda bu bize gerçekten küçük bir örneklem sağlıyordu ve buna anlamlı bir sonuç demek güçtü. Makalenin bugün olsa yayınlanmayacağını düşünüyorum.

Deneylerinin tekrarlanamamasının bir başka nedeni ise deneylerdeki insanların değişmesi olabilir. MIT'de psikolog olan David Rand, Nature dergisinde insan iş birliğine dair bir çalışma yayınlamıştı. Deneyinde ekonomi oyunu oynayan çevrimiçi katılımcılar vardı. Çalışması birçok katılımcının zamanla oyuna aşina olmaya başlayacağını ön görüyordu ancak bu varsayım gerçek hayatı yansıtmamaktaydı. Yapılan yeni çalışmalarda bu deneyin sonuçları da tekrarlanamadı.

Bir çalışmanın neden tekrarlanamayacağını anlamak güçtür, kesin olarak anlaşılan şey ise bilim insanlarının bir arada oldukları bir düşünme sürecine girmeleri gerektiğidir. Bir deneyi tekrarlamanın amacı bireysel araştırmacıların hatalarını ortaya çıkarmak değildir. Center for Open Science'ın direktörü ve psikolog olan Brian Nosek'e göre bunu yapmanın amacı şudur:

Bir deneyi tekrarlamak insani değerlerimizi hatırlamak için bir fırsattır.

Brian aynı zamanda şunları da ekliyor:

En iyi dergilerde makale yazanlar da makalelerinin kontrol edilebileceğini bilmelidir. Sosyal bilimlerdeki bu tekrar edilemezlik durumu bile aslında tekrar edilebilir bir bulgudur.

Genellikle bir makale tekrarlanamadığında bu durum o deneyin hipotezlerinin tamamen çürütüldüğü anlamına gelmez Ayrıca makalelerin yazarlarının birer "sahtekâr" olduğu da düşünülmemelidir. Sonuçların tekrarlanamaması, genellikle deneyi nasıl anlatacağımızda önemli değişiklikler yapılacağı anlamına gelir.

Örneğin meşhur Marshmallow Testi'nin tekrar edilmesi ile alakalı bir yazı yayınlandı. Testte erken yaşlarda olan memnuniyetin gecikmesinin ileri yaşlarda başarı getirdiğine dair bir korelasyon gösterildi. İleri zamanlarda yayınlanan bir makalede de böyle bir korelasyon bulundu, ancak aile geçmişi gibi faktörler kontrol edildiğinde bu korelasyondan eser kalmadı. Böylece makalenin çıkarımı şu şekilde değişti: Memnuniyetin gecikmesi bir insanın hayatını pozitif yönde etkileyen benzersiz bir kaldıraç değildir. Bir insanın hayatında değişikliğe yol açması zor bir faktördür, ama buna rağmen büyük bir resmin bir parçasıdır.

Bilimde sıklıkla bir şeyin doğruluğunun ilk gösterimi kalıcı yer edinir. Tekrarlanabilirlik, bilimin amacının bu olmayabileceğinin bir hatırlatıcısıdır. Bilim hatalarını kucaklar ve hatalarından ders alır.

Tekrarlanabilirlik Krizi Yıllardır Var ve Bilim İnsanları Kendilerini Geliştiriyor!

Psikolojideki "tekrarlanabilirlik krizi" 2010 yıllarında başladı. Bu krizin başlamasının nedeni bir makalenin tamamen deneysel metotları kullanarak insanların geleceği bilebileceğine dair kanıt bulduğunu iddia etmesi oldu. Bu olay bilim camiasında deneysel metotların güvenilirliğinin sorgulanmasına yol açtı. Örneğin üniversite öğrencilerinin çizim yapmak gibi küçük eylemleri gerçek deneysel etkileri görmek için yetersiz oldu.

Bilim insanları, eğer az sayıda insanda bir etki bulabilirseniz bu etkinin güçlü olması gerektiğini düşünür. Ancak çoğu zaman küçük örneklerden elde edilen önemli sonuçlar istatistiksel tesadüfler olmuştur.

Tekrarlanabilirlik krizi 2015 yılında aralarında Nosek'in de bulunduğu bir grup psikoloğun Science dergisinde kapsamlı bir sorunun kanıtlarını içeren bir rapor yayınlamasıyla daha da şiddetlendi. 270 psikolog, önde gelen dergilerde yayınlanan 100 deneyi tekrarlamaya çalıştı ve çalışmaların yalnızca yüzde 40'ı tekrarlanma testlerini geçebildi. Kalanlar ya başarısız oldu ya kayda değer veri veremedi. Tekrarlanabilenlerin sonuçları ise orijinal makaleler kadar etkili olamadı. Tekrarlanma eğiliminde olan çalışmalar, anlamlılık eşiğini zar zor geçenlerle karşılaştırıldığında daha yüksek düzeyde anlamlı sonuçlara sahipti. Nosek'e göre deneyleri tekrar etmenin başka bir önemli nedeni de şu:

Bilim insanlarının hangi hipotezlerin tekrarlanmaya değip değmediğine dair sezgilerini geliştirmek ve hangi tür çalışmaların tekrarlanma eğiliminde olup hangilerinin olmadığını anlamak deneyleri tekrar etmek için önemli bir nedendir.

Nosek ve meslektaşları yeni çalışmalarına "tahmin etme" faktörünü de ekledi. Bir grup bilim insanı hangi deneylerin tekrarlanması, hangilerinin tekrarlanmaması gerektiği konusunda birtakım tahminlerde bulundu. Deneyin sonuçlarını aşağıdaki grafikte görebilirsiniz.

Vox

Ekonomist ve çalışmanın ortak yazarlarından biri olan Anna Dreber şöyle diyor:

Bu sonuçlara göre tekrarlanması başarısız olan deneylerde sistematik giden bir şeyler var.

Tekrarlanamayan birçok makale, sezgisel olarak da kulağa biraz fazla iyimser geliyor. Mesela bir makale el yıkamanın sonradan anlama önyargısını çürüttüğü iddia ediyor. Çalışmanın özetinde, el yıkamanın "geçmişteki endişeleri genel olarak ortadan kaldırdığını ve metaforik bir 'temiz sayfa' etkisine yol açtığının görüldüğü" belirtiliyor. Araştırmacılar şunu söylüyor:

Deneyde olan her şey kulağa biraz fazla kolay, fazla basit geliyor ama sonuçlar tekrarlanamadı.

Ancak bunlar sayesinde, sosyal bilimlerin daha iyiye gittiğine dair bazı umut verici işaretler var. Birçok bilim insanı çalışma yöntemlerini not alıyor. Bunu yapmaları onların cımbızlama safsatasına düşmelerini de engelliyor. Dergiler artık makalelerin daha fazla katılımcı bulmasını ve bilim insanlarının bütün verilerini not almasını şart koşuyor. Son olarak Nosek şunu söylüyor:

Bu projeden alınacak ders çok olumlu bir reformasyon mesajıdır. Bilim daha iyiye gidiyor!