Bazen bir bilim insanının başarısını anlamak, upuzun bir bostanda en iyi karpuzu aramaya benzetilebilir. Diyelim ki, tarlada kocaman, parlak kırmızı renkli karpuzlar var. Kimisi çok iri, kimisi küçük ama leziz olabilir. Akademik atıf sayısı da işte bu karpuzların boyutuna bakmaya benziyor: büyük bir sayı gördüğümüzde "Epey iriymiş, kesin lezzetlidir" diyoruz. Ama sadece iriliğe bakmak bazen yanıltıcı olabiliyor; çünkü kimi karpuz içi boş, tatsız da çıkabiliyor. Kesin yaşamışsınızdır. Bazıları kendi akrabaları tarafından sulanarak şişirilmiş olabiliyor (yani self-citation ve dostlar arasında karşılıklı atıf çemberleri). Bu yüzden "en iyi karpuz" arayışı için sadece tek bir ölçüte bakmak aslında yetersiz kalıyor.
Teknik tarafta, örneğin h-indeksi dediğimiz bir metrik var. Bu, "en az kez atıf almış makalen var mı?" sorusunu soruyor. Yani
Ancak bu da bazen büyük karpuzun çekirdeksiz olması sorunu gibi eksiklikler barındırıyor. Bazı alanlarda teoriye dayalı çalışmalar görece daha az atıf alabiliyor ve bazı alanlarda deneysel çalışmalar atıf patlaması yapabiliyor. Bir de bu işin 'hyperauthorship' dediğimiz, onlarca kişilik araştırma gruplarının aynı makalede yer aldığı durumları var; bir kişi "bu çalışma benim eserim" diye iddia edince, orada epey "benim karpuzum da var" karmaşası çıkıyor.[1] Burada devreye C-Score gibi karma metrikler giriyor. Hatta bazen altmetrics ile Twitter, blog, haber siteleri gibi yerlerdeki yansımalar ölçülüyor ve araştırmanın popülerlik düzeyine bakılıyor. Yani karpuzun internetteki itibarına da bakıyoruz bir nevi.
Tüm bunlar yetmiyor gibi bazen "bu bilim insanının gerçekten topluma katkısı var mı?" diye bakmak da elzem oluyor. Misal biri matematikte öyle bir denklem çözmüş olur ki, kimseler kolay kolay atıf yapmaz; ama o ufak denklemin kullanıldığı bir nükleer füzyon projesi dünyayı kurtarabilir. (Hatırlayın, Gauss'un nice formüllerine o dönemde anlam verilemedi ama şimdi her yerde kullanılıyor.) Dolayısıyla ödüller, patentler, uzman görüşleri, tarihsel etkiler gibi niteliksel değerlendirmeler de çok önemli. "Karpuzu tadıp, kabuklarından faydalı gübre yaptık mı, yoksa sadece sergiye mi koyduk?" sorusu yine burada devreye giriyor.
Yani özeti bilim insanlarının başarısı ve güvenilirliği tek bir sayıya indirgenemez; eğer öyle olsaydı, "En büyük karpuz=En iyi karpuz" der, mezuniyet törenlerinde boyutuna göre karpuz dağıtırdık.
Kaynaklar
- M. Fire, et al. (2019). Over-Optimization Of Academic Publishing Metrics: Observing Goodhart's Law In Action. Oxford University Press (OUP). doi: 10.1093/gigascience/giz053. | Arşiv Bağlantısı
