Hata Payı Nedir? Varyans, Standart Sapma ve Güven Aralığı Nasıl Hesaplanır?

Geçtiğimiz yılda istatistik bilimi haberlerde alışılmadık biçimde önemli hale geldi. Sizin veya diğerlerinin yaptırdığı COVID-19 testleri ne kadar isabetli? Araştırmacılar yeni tedavi yöntemlerinin veya aşıların COVID-19 hastaları için etkililiğini nasıl biliyorlar? Televizyon kanalları ve haber kaynakları, bütün oylar sayılmadan çok önce seçim sonuçlarını nasıl tahmin edebiliyorlar?

Bütün bu sorular bir miktar belirsizlik içeriyor; fakat belirsizlik anlaşıldığı sürece, doğru tahminler yapmak hala mümkündür. İstatistikçilerin de bu kesinsizliği ölçmek için kullandığı araçlardan birisi de hata payıdır.

Guzaliia Filimonova

Eldeki Sınırlı Veriden Sonuç Çıkarmak...

İstatistikçilerin işlerinin bir bölümü de çıkarımlar ve tahminler yapmaktır. Sınırsız zaman ve para olsaydı, aklınızdaki bir sorunun cevabını kesin olarak bulmak için, konuyla ilgili kişilerin her birine sorular sorabilir ve sorunuzun cevabını kesin olarak bulabilirdiniz. Örneğin, Türkiye'deki gerçek COVID-19 enfeksiyon oranını bulmak için Türkiye nüfusunun tamamı test edilebilir; ancak gerçek hayatta nüfusun %100'üne ulaşmak asla mümkün değildir.

Bunun yerine istatistikçiler, nüfusun küçük bir bölümünü kapsayan bir örneklem toplarlar ve bunun üstünden tahminleri yapmak için bir model oluştururlar. İstatistik teorisini kullanarak, örnek modelden çıkan sonuçtan yola çıkararak, bütün nüfusu kapsayacak bir tahminde bulunmaları mümkündür.

İdeal bir örneklem; cinsiyet, ırksal çeşitlilik, sosyoekonomik çeşitlilik, yaşam tarzı farklılıkları ve diğer demografik ölçütler dahil olmak üzere, nüfusun tamamını temsil etmelidir. Örnek model ne kadar büyük olursa sonuç da gerçek nüfusa o kadar yakın olur ve büyük bir model ile istatistikçiler, tahminlerinden daha emin olurlar. Fakat tahminlerde her zaman bir belirsizlik olacaktır.

Wikimedia Commons

Belirsizlik Nasıl Ölçülür?

İlaç geliştirmeyi ele alırsak, yeni bir ilacın dünyadaki herkes için etkinliğinin %0 ile %100 arasında bir yerde olacağını tahmin etmek her zaman doğrudur; fakat bu, pek de işe yarar bir tahmin değildir. O aralığı işe yarayacak bir seviyeye kadar azaltmak ise bir istatistikçinin işidir. İstatistikçiler, bu aralığa güven aralığı der ve bu istatistikçilerin tahminlerinde doğru sayıyı bulduklarına en emin oldukları aralıktır.

Bir ilaç, 10 kişi üstünde test edilirse ve o kişilerden 7'sinde ilaç etki gösterirse, ilacın tahmini tesiri %70 olur; fakat amaç, bütün nüfus üzerindeki tesiri tahmin etmek olduğundan istatistikçiler, 10 kişi üzerinde yapılan testin belirsizliğini hesaplamalıdır.

Güven aralığı, örnek modelin boyutu, cevapların aralığı ve olasılık yasalarını içeren matematiksel formüller kullanılarak hesaplanır. Az önceki örnekte güven aralığı %42 ve %98 aralığında olacaktır; yani 56 puanlık bir aralık! Sadece 10 kişiyi test ettikten sonra, ilacın, nüfusun tamamının %42 ve %98 aralığında etkili olacağı emin bir şekilde söylenebilir.

Eğer güven aralığını ikiye bölersek, hata payını elde ederiz, bu durumda hata payı %28 olur. Hata payı ne kadar büyük olursa tahmin de o kadar yanlış olur, hata payı ne kadar küçük olursa tahmin de bir o kadar doğru olur. Yaklaşık %30'luk bir hata payı, hala oldukça büyüktür.

Şimdi araştırmacıların bu yeni ilacı 10 kişi yerine, 1000 kişi üstünde test ettiğini düşünelim. İlaç, bu defa da 700 kişide etkili olsun. Tahmin edilen ilaç etkinliği, yine %70 civarında olur; ancak bu tahmin çok daha isabetlidir. Daha büyük bir örneklem içeren bu modeldeki güven aralığı %67 ila %73 arasındadır ve hata payı da %3'tür. Bunun sonucunda, bu ilacın nüfusun tamamında, %3 yukarı veya aşağı olmakla birlikte, ortalamada %70 oranında etkili olacağını söylemek mümkündür.

Bu Sayılar Nereden Geliyor?

Eğer işin biraz daha teknik tarafını öğrenmek isterseniz, biraz daha derine inmemiz gerekecek. Ancak bunu elimizden geldiğince yumuşak bir şekilde yapmak mümkün. Yol boyunca birçok terim öğreneceğiz; ancak hepsi birbirinden çıkarılabilen kavramlar.

Evrim Ağacı'ndan Mesaj

Neden Desteğe İhtiyacımız Var?

Aslında maddi destek istememizin nedeni çok basit: Çünkü Evrim Ağacı, bizim tek mesleğimiz, tek gelir kaynağımız. Birçoklarının aksine bizler, sosyal medyada gördüğünüz makale ve videolarımızı hobi olarak, mesleğimizden arta kalan zamanlarda yapmıyoruz. Dolayısıyla bu işi sürdürebilmek için gelir elde etmemiz gerekiyor.

Bunda elbette ki hiçbir sakınca yok; kimin, ne şartlar altında yayın yapmayı seçtiği büyük oranda bir tercih meselesi. Ne var ki biz, eğer ana mesleklerimizi icra edecek olursak (yani kendi mesleğimiz doğrultusunda bir iş sahibi olursak) Evrim Ağacı'na zaman ayıramayacağımızı, ayakta tutamayacağımızı biliyoruz. Çünkü az sonra detaylarını vereceğimiz üzere, Evrim Ağacı sosyal medyada denk geldiğiniz makale ve videolardan çok daha büyük, kapsamlı ve aşırı zaman alan bir bilim platformu projesi. Bu nedenle bizler, meslek olarak Evrim Ağacı'nı seçtik.

Eğer hem Evrim Ağacı'ndan hayatımızı idame ettirecek, mesleklerimizi bırakmayı en azından kısmen meşrulaştıracak ve mantıklı kılacak kadar bir gelir kaynağı elde edemezsek, mecburen Evrim Ağacı'nı bırakıp, kendi mesleklerimize döneceğiz. Ama bunu istemiyoruz ve bu nedenle didiniyoruz.

Destek Ol

Ortalama Nasıl Hesaplanır?

Her şey, veri toplamakla başlıyor. Örnekleminizin her birinden, merak ettiğiniz konuda veri toplayıp, bunları işliyorsunuz. Bu verinin elbette ortalama bir değeri olacaktır. Bu değer, bütün veriyi toplayıp, örneklemdeki kişi sayısına bölerek hesaplanır.

Diyelim ki evinizdeki 5 köpeğin omuz yüksekliklerini milimetre cinsinden ölçtünüz ve şu sayıları elde ettiniz:

• 600 mm,
• 470 mm,
• 170 mm,
• 430 mm ve
• 300 mm.

Buradan yola çıkarak, ortalamayı şöyle hesaplayabilirsiniz:

$Ortalama=\genfrac{}{}{0ex}{}{600+470+170+430+300}{5}$

$=\genfrac{}{}{0ex}{}{1970}{5}$

$=394$

Bu durumda köpeklerin omuz yüksekliği ortalaması 394 milimetredir.

Varyans Nasıl Hesaplanır?

Ortalama, bize köpeklerimizin ortalama yüksekliği ile ilgili bilgi verir; ancak elimizdeki köpeklerin bu ortalamadan ne düzeyde saptığı ile bilgi vermez. Çünkü şöyle düşünün: Diyelim ki 2 köpeğiniz var ve bunların birinin omuz yüksekliği 100 milimetre ise, diğer köpeğinizin omuz yüksekliği 200 milimetre... Bu durumda 2 köpeğinizin ortalaması 150 milimetre olacaktır. Ancak eğer 2 köpeğiniz ikiz ise, birbiriyle birebir aynı omuz yüksekliğine sahip olacaktır. Eğer bu omuz yüksekliği 150 milimetre ise, köpeklerinizin ortalaması yine 150 milimetre olacaktır. İki ortalama da 150 milimetredir; ancak iki örneklemin ortalamadan sapma miktarı eşit değildir. İşte varyans, bize ortalamadan sapmaya giden yolda önemli bilgiler veren ilk araçtır ve şöyle hesaplanır:

• Örneklemin ortalaması hesaplanır.
• Her veri değeri için şu işlem yapılır: Ortalamadan o veriyi çıkar, karesini al (buna karesi alınmış fark denir).
• Sonrasında bu karesi alınmış farkın ortalamasını bul.
• Elde ettiğin sayı, yani karesi alınmış farkların ortalaması, varyanstır.

Varyans Hesabında Neden Kare Alınır?

Bu, farklı biçimlerde dağılmış verileri birbirinden ayırmak için en etkili yöntemdir. İki köpekli örneğimizde, sadece ortalama almanın işe yaramadığını öğrenmiştik (ikiz olan ve olmayan köpekleri içeren iki vakayı birbirinden ayırt etmemize yaramamıştı). Eğer mutlak değer veya ortalama sapma gibi bir yaklaşım deneyecek olursanız, yine iki vakayı birbirinden ayıramayacağınız durumlarla karşılaşacaksınız. Karesi alınmış fark yöntemi, birçok durumda farklı dağılımları birbirinden ayırt etmenizi sağlayan, faydalı bir araç olacaktır.

Varyansı Hesaplayalım

Şimdi, her biri farklı omuz yüksekliklerine sahip 5 köpekli örneğimize geri dönelim ve varyansı hesaplayalım:

${\sigma }^2=\genfrac{}{}{0ex}{}{(600-394{)}^2+(470-394{)}^2+(170-394{)}^2+(430-394{)}^2+(300-394{)}^2}{5}$

$=\genfrac{}{}{0ex}{}{206^2+76^2+(-224{)}^2+36^2+(-94{)}^2}{5}$

$=\genfrac{}{}{0ex}{}{42436+5776+50176+1296+8836}{5}$

Agora Bilim Pazarı

Saçında Gün Işığı

“Çoğu insan kendi tercih edeceği biçimde gelişeceğini farz ederek güvenir geleceğe. Onu körlemesine planlar, mümkün olmayanı öngörür. İradenin işleyişi böyle. Hayata amaç ve yön veren şey bu. Orada olan değil, olmayan şey.”

Pulitzer Ödüllü “Dert Yorumcusu”nun yazarı Jhumpa Lahiri’den

2013 Man Booker ve National Book Award finalisti

New York Times, Time, People, Goodreads, Slate, Chicago Tribune ve Kirkus’un “2013 YILININ EN İYİ KİTABI” seçkilerinde.

“MUHTEŞEM… Lahiri karakterlerini hiçbir parmak izi bırakmadan ele alıyor.”New York Times

“ETKİLEYİCİ… Bir kitap okuduğunuzu unutturacak kadar samimi ve saydam.”Newsweek

Adanmışlıklarla ayrılmış, trajediyle birleşmiş iki kardeş. Geçmişle lanetlenmiş bir kadın. Devrimle darmadağın olmuş bir ülke. Kendi yitmiş, bedeli kalmış bir aşk. Günümüzün en önemli yazarlarından Pulitzer ödüllü Jhumpa Lahiri’den, üç nesil ve iki ülkeye yayılmış büyüleyici bir roman.

Devamını Göster

₺279.00

Satın Al Tüm Ürünler

$=\genfrac{}{}{0ex}{}{108520}{5}$

$=21704$

Yani bu verinin varyansı 21704'tür.

Burada dikkat etmeniz gereken iki şey var: Dikkat ederseniz hesapta, verinin kendisinin karesini değil, veriden ortalamayı çıkardıktan sonra elde ettiğimiz sayının karesini alıp, birbiriyle topluyoruz. Yani ortalamadan sapmaya bakıyoruz. İkincisi de, bu noktayla ilgili olarak, varyansın özel bir harf ile değil, ${\sigma }^2$ gibi bir üslü ifadeyle gösteriliyor olmasıdır. Bunun nedeni, varyansın bir ara basamak olmasıdır. Varyans, bizi asıl merak ettiğimiz, standart sapma değerine götürür.

Standart Sapma Nasıl Hesaplanır?

Standart sapma, bir örneklemdeki verilerin ortalamadan ne kadar saçıldığının bir ölçüsüdür. Standart sapma, Yunancadaki "sigma" harfinin sembolü olan $\sigma$ ile gösterilir. Standart sapma, varyansın karekökü olarak tanımlanır. Dolayısıyla, yukarıdaki örneğimizde standart sapmayı şöyle hesaplayabiliriz:

$\sigma =\sqrt{21704}$

$=147.32...$

$=147$

Yani köpeklerimizin omuz yüksekliğinin standart sapması 147'dir.

Standart sapma ile ilgili güzel şey, son derece işlevsel bir sayı olmasıdır. Standart sapma, köpeklerinizin her birinin ortalamadan gerçek sapma miktarını vermez; ancak 5 köpek için 5 sapma değeri vermek zorunda kalmazsınız. Standart sapma, o örneklem için "normal" olan değerden "standart" miktarda sapmayı ölçer. Yani o köpek örnekleminde "aşırı büyük" veya "aşırı küçük" gibi nitelemeleri yapabilmenizi sağlayan bir araç verir.

Örneğin 600 milimetrelik köpeğiniz, 394 milimetrelik ortalamadan 206 milimetre saptığı için ve örneklemk için standart sapma da 147 milimetre olduğu için, bu köpeğinizin o örneklem için iri bir köpek olduğu sonucuna varabilirsiniz. Bu, artık nitel bir gözlem olmaktan çıkarak, nicel bir yargıya dönüşmüştür.

Elbette standart sapmada da bir miktar varsayım vardır. Örneğin bir köpeğe "büyük" demeye hangi noktadan sonra başlarız? 1 standart sapma değeri kadar büyük olduğunda mı, yoksa 2 veya 3 standart sapma kadar büyük olduğunda mı?

Bunu, olabildiğince nesnel şekilde, şöyle yanıtlayabiliriz: Ölçtüğünüz veri her ne olursa olsun, tüm ölçümlerinizin ortalamada %68 kadarı, 1 standart sapma aralığı içerisinde (ortalamadan 1 standart sapma yüksek veya düşük olan aralıkta) olacaktır.

Bu arada ufak bir not: Burada köpeklerimiz, daha büyük bir köpek popülasyonu hakkında fikir elde etmek için kullanılmıyordu. Aşı veya ilaç örneklerimizde ise amacımız buydu. Eğer amacınız, bir örneklemden yola çıkarak daha büyük bir popülasyon hakkında fikir elde etmek ise, varyans hesabınızda popülasyondaki birey sayısına değil, bunun 1 eksiğine (eğer popülasyon sayınız $N$ ise, $N-1$ sayısına) bölmeniz gerekiyor. Bunu bir "düzeltme işlemi" olarak düşünebilirsiniz. Bunun teknik detayları birazcık karışık olduğu için burada değerlendirmeyeceğiz.

Güven Aralığı

Nihayet geldik güven aralığı konusuna... Güven aralığı, ölçümlerimizin, hangi veri aralığında daha önceden belirlediğimiz bir isabetlilik oranıyla ifade edilebileceğini söyler. Bu biraz karmaşık bir tanım, dolayısıyla örnek üzerinden gidelim.

Bu defa köpek örneğimizi bir kenara bırakalım ve 40 erkeğin boyunu ölçtüğümüzü düşünelim. Her bir ölçümümüzü burada vermeyeceğiz; ancak ortalamalarının 175 santimetre olduğunu düşünelim. Diyelim ki, yukarıdaki işlemleri de yaparak standart sapma değerinin 20 santimetre olduğu sonucuna ulaştık. Bu ölçümümüzdeki güven aralığını hesaplamak için, önce bazı tanımlar yapalım:

• Örneklem (veya veri) büyüklüğümüz $n$ olsun. Bu örnekte $n=40$.
• Verimizin ortalaması $\bar{X}$ olsun. Bu örnekte $\bar{X}=175$.
• Standart sapmayı ${\sigma }^2$ yerine $s$ ile gösterelim. Bu örnekte $s=20$.

Şimdi, tutturmak istediğimiz güven aralığını seçmemiz gerekiyor. Bu aralık, çoğu zaman %95 veya %99 olarak seçilir ve tamamen araştırmacının keyfine/amaçlarına kalmıştır. Ancak güven aralığımız, z-değeri olarak bilinen bir standart değeri bulmamızı sağlayacaktır. Yaygın kullanılan güven aralıkları için hesaplanmış z-değerleri için şöyle bir liste oluşturabiliriz:

• %80 güven aralığı için z-değeri 1.282 olarak hesaplanmıştır.
• %85 güven aralığı için z-değeri 1.440 olarak hesaplanmıştır.
• %90 güven aralığı için z-değeri 1.645 olarak hesaplanmıştır.
• %95 güven aralığı için z-değeri 1.960 olarak hesaplanmıştır.
• %99 güven aralığı için z-değeri 2.576 olarak hesaplanmıştır.
• %99.5 güven aralığı için z-değeri 2.807 olarak hesaplanmıştır.
• %99.9 güven aralığı için z-değeri 3.291 olarak hesaplanmıştır.

Güven aralığına bağlı olarak z-değerinin nasıl hesaplandığı da teknik bir konu olduğu için burada girmeyeceğiz (sadece her bir güven aralığı ile her bir z-değerinin eşleştiğini bilmeniz yeterli); ancak merak edenler, aşağıdaki videodan daha da fazla detay alabilirler:

Diyelim ki güven aralığımızın %95 olmasını istiyoruz. Bunun, bizim için yeterli olduğu sonucuna vardık. Bu, öznel bir karar; ancak uzmanlar tarafından dikkatlice düşünülerek ve alanlarındaki kabul görmüş yöntemleri takip ederek, çok da zor olmayan bir şekilde karar verilebilir. Bu durumda, kullanmamız gereken z-değeri 1.96'dır.

Şimdi, güven aralığımızı bu örneğimiz için sayıya dökebiliriz. Güven aralığını şöyle hesaplayabiliriz:

$\bar{X}\pm Z\genfrac{}{}{0ex}{}{s}{\sqrt{N}}$

Yukarıdaki sayılarımızı yerleştirecek olursak:

$175\pm 1.960\genfrac{}{}{0ex}{}{20}{\sqrt{40}}$

$175cm\pm 6.20cm$

Yani güven aralığımız, 168.8 santimetre ile 181.2 santimetre arasındadır.

Güven Aralığı Neyin Bilgisini Verir?

40 erkeğin boyunu ölçüp, ortalamayı 175 olarak bulmanız, bütün erkeklerin boy ortalamasının 175 santimetre olmak zorunda olduğu anlamına elbette gelmez. %95'lik güven aralığıyla bir hesaplama yaptığınızda bulduğunuz 168.8 santimetre ile 181.2 santimetre aralığı, bütün erkeklerin boy ortalamasının, bu aralığa düşeceğini söyler.

Ancak... %100 ihtimalle değil; %95 ihtimalle. Bir diğer deyişle, eğer tüm erkeklerin boylarını ölçecek olursanız, bunların ortalaması %95 ihtimalle 168.8-181.2 santimetre aralığında yer alacaktır. %5 ihtimalle bu aralığın dışında yer alacaktır. Bir diğer deyişle, her 20 denemeden 1 tanesinde (%5) erkeklerin boy ortalamasının 168.8-181.2 santimetre aralığının dışında kaldığı görülecektir.

Hata Payı Bunun Neresinde?

Dikkat edecek olursanız, 168.8-181.2 santimetre aralığını bulmak için, güven aralığımızı hesapladık ve $175cm\pm 6.20cm$ bulduk. İşte buradaki $\pm$ işaretinden, yani "artı-eksi" işaretinden sonra gelen 6.20 santimetre değeri, meşhur hata payı kavramının ölçüsüdür. Bir diğer deyişle, güven aralığımızın üzerindeki belirsizlik, hata payıdır.

Bir Diğer Güven Aralığı Örneği: Elmalar Olgunlaştı mı?

Diyelim ki bir elma bahçemiz var ve 1 yılda bu bahçedeki ağaçlar tam olarak 100 adet elma meyvesi ürettiler. Bu elmaların satılabilecek büyüklüğe erişip erişmediğinden emin olmak istiyoruz; ama 100'ünü birden toplamaya vaktimiz yok. Bu nedenle zamanımızın yettiği kadarıyla, 46 elmayı dalından koparıp ölçtük ve şu sonuçları elde ettik:

• Elmaların ortalaması 86 (birim, artık her neyse, milimetre diyelim...)
• Standart sapma değerini de 6.2 olarak hesapladınız (önceden anlattığımız yöntemleri kullanabilirsiniz).

Güven aralığımızı yine %95 seçecek olursak:

$\bar{X}\pm Z\genfrac{}{}{0ex}{}{s}{\sqrt{N}}$

$86\pm 1.960\genfrac{}{}{0ex}{}{6.2}{\sqrt{46}}$

$=86\pm 1.79$

Yani %95 ihtimalle elmalarımız 84.21 milimetre ila 87.79 milimetre arasında bir boyuta sahip olacak.

Bu ne anlama geliyor? Ola ki 100 elmayı da toplasaydık ve ortalamalarını alsaydık, elde edeceğimiz ortalamaya gerçek ortalama adını verirdik; çünkü gerçekten de hakkında bilgi almak istediğimiz elmaların %100'ünü (100 adet elmanın her birini) toplayıp ölçmüşüz demektir ve elde ettiğimiz ortalama, istatistiki bir tahmin değil, gerçek ortalama olacaktır.

Diyelim ki bunu yaptığımızda gerçek ortalamanın 84.9 olduğunu bulduk. Bu, güven aralığımız olan 84.21 ila 87.79 milimetrenin içerisindedir. Eğer bu şekilde 100 elmadan oluşan birçok bahçemiz olsaydı ve her birinde aynı güven aralığını elde etseydik, bu bahçelerimizin %95'inde gerçek ortalama, gerçekten de bizim hesapladığımız güven aralığında olacaktı; ancak bahçelerimizin %5'inde gerçek ortalama, umduğumuz güven aralığının dışında kalacaktı.

İşte bu uyumsuz örnekler, örnekleme hatası olarak bilinen bir tehlikeye işaret etmektedir. İstatistiki açıdan değil de, konunun felsefi açıdan ele alındığı bir yazımızı buradan okuyabilirsiniz.

Sonuç

Her ne kadar istatistikçiler yeni bir ilacın başarısını ya da başarısızlığını %100 doğrulukla tahmin edebilmeyi veya bir seçimin sonucunu kesin olarak bilme imkanına sahip olmayı ne kadar isteseler de bu pek mümkün değildir. Her zaman biraz belirsizlik vardır ve bu belirsizliğin ölçüsü olan hata payı, sonuçlara bakılırken göz ardı edilmemelidir. Bilhassa hata payı, istatistikçilerin gerçek sayının bulunacağından çok emin olduğu tahmin aralığını tanımlar. Kabul edilebilir miktarda bir hata payının ne kadar olması gerektiği, sonuç çıkaracağımız konuda hata payına ne kadar yer bırakmayı göze alabileceğimize göre belirlenir.