Big Data Nedir? Büyük Veri, Yapay Zekanın Zincirlerini Kırmasını Sağlayacak Anahtar Olabilir mi?

Big Data ("Büyük Veri"), geleneksel veri işleme uygulamalarının üstesinden gelemeyeceği kadar büyük veya karmaşık veri setlerini analiz etme ve bu veri setlerinden sistematik olarak bilgi elde etmeyi sağlayacak yöntemler arayan bilişim bilimleri sahasıdır. Bir diğer deyişle Big Data, çoğunluğu yapılandırılmamış olan ve sonu gelmez bir şekilde birikmeye devam eden, geleneksel ilişki bazlı veri tabanı teknikleri yardımıyla çözülemeyecek kadar yapısallıktan uzak, çok çok büyük, çok ham ve üstel bir şekilde büyümekte olan veri setleridir.

Görülebileceği gibi, her ne kadar son derece popüler bir terim olsa da, anlamı hala çok fazla belirsizlikle örtülüdür; dolayısıyla, teknolojik gelişmelere bağlı olarak sürekli değişen bir hedef konumunda olduğu söylenebilir. Big Data tanımlamaları yapılırken bazı araştırmacılar tarafından değişkenlik ve hızı üzerinden bir değerlendirme yapılırken, bazı uygulamacılar düzensiz ve karmaşık bir yapı olmasına vurgu yapmaktadır. Bu bakımdan teknolojik veri depolama, toplama ve işleme yeteneğinden toplumu etkisi altına alan kültürel değişimlere kadar çok geniş bir kavram yelpazesini tanımlamak için kullanıldığını söyleyebiliriz.

Big Datayı Besleyen Ne?

İnternet yaklaşık 30 yıldır vardır ve bu kısa sürede ortak kullanımımızdaki en önemli araçlardan biri haline geldi bile. Yakın denebilecek bir zamana kadar veriler; elektronik tablo ve veri tabanları ile sınırlıydı ve bu yüzden de oldukça düzenliydi. Teknolojinin ilerlemesi ve çağımızda yaşanan büyük gelişmelerle birlikte artık veriler çok daha karmaşık bir yapıyı ifade etmeye başladı. Günlük hayatımızda büyük bir vakit harcadığımız sosyal medya hesaplarındaki etkileşimlerden arama motorlarındaki hareketlere kadar birçok eylem büyük bir veri yığını oluşturmakta. Her gün yaklaşık olarak 2,5 kentilyon bayt veri oluşturuyoruz. Bunun ne demek olduğunu anlayabilmek için şöyle ifade edelim: Dünyadaki verilerin %90'ı, sadece geçtiğimiz birkaç yıl içinde üretildi.

Veriler; yapay zeka (AI), mobil cihazlar ve nesnelerin interneti (IoT) gibi günümüz gelişmeleri tarafından yönlendirildiği için geçmişteki verilere göre çok daha karmaşık bir hale geliyor. Sensörler, cihazlar, ağlar, bloglar, mailler, videolar, sesler, banka hesaplarında yapılan hareketler gibi birçok kaynaktan sağlanan farklı veri türleri çok büyük ölçekte ve çoğu eş zamanlı olarak oluşturulmaktadır. İşte tam da bu noktada Big Data, bu devasa veri yığınından beslenerek verilerin anlamlı ve işlenebilir bir hale getirilmesinde rol oynamaktadır. Ayrıca verilerin sağlandığı kaynaklara baktığımızda bugün internet kullanan her bireyin Big Datanın büyümesine ve gelişmesine bireysel olarak büyük bir katkı sağladığını da söyleyebiliriz.

Big Data'nın V'leri

Analitik çalışmalar yapabilmek için büyük miktarda veriye ulaşma ve depolama eylemi uzun bir süredir var. Ancak bu veriye ulaşma ve depolama eylemi, 2001 yılında endüstri analisti Doug Laney tarafından Big Data'nın "üç V" olarak tanımlanması ile ivme kazanmıştır.

Hacim (Volume)

Depolanan çok büyük miktardaki veriyi ifade eder. Geleneksel veriler megabayt, gigabayt, terabayt gibi boyutlarda ölçülürken, büyük veriler petabayt ve zettabayt cinsinden depolanır. Aradaki farkı anlamak için Kaliforniya Üniversitesi, Berkeley Bilgi Okulu’nun yaptığı şu karşılaştırmaya bakalım: 1 gigabayt 7 dakikalık HD-TV videoya eşdeğerken, bir zetabayt 250 milyar adet DVD'ye eşittir.

EMC tarafından hazırlanan rapora göre, dijital evrenin boyutu her 2 yılda bir ikiye katlanmaktadır. Verilerin her geçen gün hızlanarak arttığı düşünüldüğünde gelecekteki gelişmeler de göz önüne alınarak bu büyük veri yığınları ile nasıl başa çıkılacağı düşünülmeli ve buna uygun planlar yapılmalıdır. Depolama ve işleme için uygun çözümler bulunmadan, bu verilerden uygun içgörüler elde etmek oldukça zorlaşacaktır.

Hız (Velocity)

Veri miktarının sürekli olarak artması, verilere yapılacak işlem sayısının ve çeşitliliğinin de aynı hızda artmasına sebep olmaktadır. Verilerin kullanışlı olabilmesi için şirket ve kuruluşların, verilerden gerçek zamanlı olarak faydalanabilmesi ve eş zamanlı olarak içgörüler elde etme yeteneğine sahip olması gerekir. Verilerden bazıları toplu olarak işlenebilir ve zaman içinde alakalı olarak kalabilse de büyük verilerin çoğunun en iyi sonuçlar alınması için hemen harekete geçilmesi gerekir. Bu konuda sağlık cihazlarından alınan sensör verileri iyi bir örnek olabilir. Olumlu bir sonuç almak ve muhtemel problemlerin önüne geçmek için sağlık verilerini anında işleme yeteneğine sahip olunması gerekmektedir.

Çeşitlilik (Variety)

Büyük veri; yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış birçok veriyi kapsar. Kabaca %95’i yapılandırılmamış verilerden oluşur ve geleneksel modele kolayca sığmaz. Üretilen veriler genel olarak yapısal değildir. E-postalar, videolar, finansal işlemler ve bilimsel verilere kadar birçok farklı kaynaktan ya da dillerden gelen veriler birbirinden farklı formatların ortaya çıkmasına sebep olur. Anlamlı ve işlenebilir bir hale gelebilmesi için birbirlerine dönüştürülebilir olmaları gerekir.

Pexels

Büyük Veri Nasıl Çalışır?

Büyük veri basitçe, yapılandırılmış veya yapılandırılmamış olarak iki kategoriye ayrılır. Yapılandırılmış veriler, kuruluşlar tarafından veri tabanlarında hâlihazırda yönetilen bilgilerdir ve genellikle sayısaldır. Yapılandırılmamış veriler ise önceden belirlenmiş bir formata uymayan bilgilerdir. Örneğin kurum veya kuruluşların müşteriler hakkında bilgi edinmesi için sosyal medya kaynaklarından toplanan verileri içerir. Anketler, satın alma geçmişleri, sosyal ağ ve web sayfalarında herkese açık olarak paylaşılan bilgiler, elektronik cihazlar gibi kaynaklardan toplanabilir.

En faydalı bilgiye ulaşabilmek ve başarılı içgörüler elde edebilmek için verinin en sade ve işlenebilir halini ortaya koymak gerekir. Genellikle bilgisayar veri tabanlarından depolanır ve karmaşık veri kümelerini işlemek için tasarlanmış yazılımlar yardımıyla analiz edilir. Büyük veri, değerini analizler sonucunda buna uygun olarak hareket edildiğinde ortaya çıkarır. Elde edilen veriler işlenebilir duruma getirildikten sonra karşılaştırma yöntemleri ile birlikte aralarındaki ilişkiler inceler ve bağlantılar oluşturulur. Bununla atılacak adımlar için önceden bir öngörüye sahip olunur. Toplanan verilere dayanarak yapı modelleri ve simülasyonlar oluşturulur. Makine öğrenimi ve yapay zeka bu noktada oldukça etkilidir. Verilerdeki çeşitli noktaların yerleri değiştirilerek sonuçların nasıl etkilendiği gözlemlenir.

Evrim Ağacı'ndan Mesaj

Neden Desteğe İhtiyacımız Var?

Aslında maddi destek istememizin nedeni çok basit: Çünkü Evrim Ağacı, bizim tek mesleğimiz, tek gelir kaynağımız. Birçoklarının aksine bizler, sosyal medyada gördüğünüz makale ve videolarımızı hobi olarak, mesleğimizden arta kalan zamanlarda yapmıyoruz. Dolayısıyla bu işi sürdürebilmek için gelir elde etmemiz gerekiyor. Bunda elbette ki hiçbir sakınca yok; kimin, ne şartlar altında yayın yapmayı seçtiği büyük oranda bir tercih meselesi. Ne var ki biz, eğer ana mesleklerimizi icra edecek olursak... Daha fazla göster

Aslında maddi destek istememizin nedeni çok basit: Çünkü Evrim Ağacı, bizim tek mesleğimiz, tek gelir kaynağımız. Birçoklarının aksine bizler, sosyal medyada gördüğünüz makale ve videolarımızı hobi olarak, mesleğimizden arta kalan zamanlarda yapmıyoruz. Dolayısıyla bu işi sürdürebilmek için gelir elde etmemiz gerekiyor.

Bunda elbette ki hiçbir sakınca yok; kimin, ne şartlar altında yayın yapmayı seçtiği büyük oranda bir tercih meselesi. Ne var ki biz, eğer ana mesleklerimizi icra edecek olursak (yani kendi mesleğimiz doğrultusunda bir iş sahibi olursak) Evrim Ağacı'na zaman ayıramayacağımızı, ayakta tutamayacağımızı biliyoruz. Çünkü az sonra detaylarını vereceğimiz üzere, Evrim Ağacı sosyal medyada denk geldiğiniz makale ve videolardan çok daha büyük, kapsamlı ve aşırı zaman alan bir bilim platformu projesi. Bu nedenle bizler, meslek olarak Evrim Ağacı'nı seçtik.

Eğer hem Evrim Ağacı'ndan hayatımızı idame ettirecek, mesleklerimizi bırakmayı en azından kısmen meşrulaştıracak ve mantıklı kılacak kadar bir gelir kaynağı elde edemezsek, mecburen Evrim Ağacı'nı bırakıp, kendi mesleklerimize döneceğiz. Ama bunu istemiyoruz ve bu nedenle didiniyoruz.

Destek Ol

Büyük Veri Kullanım Alanları ve Örnekleri

Büyük veri, hayatın neredeyse her alanında kendine bir yer bulmaktadır ve bu yüzden kullanım alanlarını sınırlamak pek mümkün değildir. Müşteri memnuniyetini artırmak için tüketim alışkanlıklarının izlenmesi, şirketlerin yeni trendler oluşturması ve daha birçok alanda büyük veri kullanılmaktadır.

Netflix gibi kullanıcılarına öneriler sunan platformları kullanan herkes büyük verinin iş başında olduğunu kolayca anlayabilir. Bu gibi şirketler günde milyarlarca veri toplamak için büyük veriyi kullanır. Bir kişinin bir filmi durmadan kaç dakika izlediği, birden fazla bölüm izleyip izlemediği, en çok hangi türde içerikleri izlediği gibi çok detaylı verilere dahi ulaşabilir. Bununla birlikte kullanıcıların tercihleriyle ilgili kararlar almak için grafik, başlık veya renk gibi detaylı verileri bile kullanabilir.

Meta (eski adıyla "Facebook") gibi birçok büyük şirket, sosyal medya ve internette gezinen kullanıcılarına onlara uygun reklamlar yerleştirerek büyük reklam gelirleri sağlamak için büyük veriyi kullanır. Elde ettiği veriler sayesinde kullanıcıların beğenileri, tercihleri ve gezintileri sayesinde onları o kadar iyi tanıyabilir ki, hangi siyasi partiye oy vereceği konusunda bile tahmin yürütebilir.

Büyük verinin sağlık sektöründeki hizmetlerin iyileştirilmesinde de önemli bir rolü bulunur. Veriye dayalı tıpta, hastalık teşhisi veya yeni ilaçların geliştirilmesinde kullanılmak üzere çok sayıda tıbbi kayıt kullanılır. Hasta ve nüfus gibi verilere erişim sayesinde sağlık hizmetleri iyileştirilebilir. Aynı zamanda kanser, Alzheimer gibi hastalıkların araştırılmasında da kullanılmaktadır.

Büyük veri bu örnekler dışında şehirlerde trafiğin önüne geçmek için trafik kalıplarının analiz edilmesi, çiftçilerin mahsullerinin tahmin edilmesi, kişiselleştirilmiş e-ticaret deneyimleri gibi birçok farklı alanda farklı amaçlar için kullanılmaktadır.

Büyük Veri ile İlgili Önemli Detaylar

2014 yılında toplanan verilere göre:

• Günümüzde iki günde üretilen veri miktarı dünyanın kuruluşundan 2003 yılına kadar üretilen veri miktarına eşdeğerdir.
• Youtube’a her 1 dakika içinde yaklaşık 100 saatlik video yüklenmektedir ve sadece 1 günde yüklenen videoları izlemek için 15 yıla ihtiyaç vardır.
• Bir günde toplanan verileri DVD’lere kaydedeceğimiz bir senaryoda bu DVD’lerin üst üste konulması ile aya iki kez erişilebilir.
• Büyük veri analitiğinin sağlık sektöründe başarılı bir şekilde kullanımı ve entegre edilmesi ile birlikte 300 milyar dolarlık bir tasarruf elde edileceği öngörülmektedir.
• Her gün dakikada 1570 yeni web sayfası oluşturulmaktadır.
• Yalnızca Google’da saniyede 40 bin arama gerçekleşmektedir.
• Her 1.2 yılda bir yakalanan ve depolanan veri miktarı 2 katına çıkmaktadır.
• Her dakika Facebook’ta 1,8 milyon "like" ve Twitter’da 270 bin "tweet" atılmaktadır.

Sonuç

Dünyada bugünkü kadar veri ürettiğimiz ve topladığımız başka hiçbir dönem olmamıştı. Pek çok farklı kaynaktan topladığımız veri miktarı her geçen gün katlanarak artıyor. Veriler, dünyamızı ve her birimizin yaşam tarzını daha önce görülmemiş şekiller etkilemeye devam ediyor. Verilerin başarılı şekilde kullanılması hem ticari kuruluşlara hem de onların hizmet sunduğu kullanıcılara büyük faydalar sağlamaktadır. Günümüzde verilerin doğru işlendiğinde sağladığı faydaları göz önüne alınca gelecekte daha büyük teknolojilerle hayatımıza nasıl etki edeceğini tahmin edebilmek oldukça zor!

Faydaların yanında kişisel bilgilerimize bu denli kolay ulaşılıp kullanılması gizlilik ve güvenliğe dair sorunlar oluşabileceğine dair tartışmaların ortaya çıkmasına da sebep olmaktadır. Önceki yazılarımızda bu konuya değindiğimiz için, bu yazıda bu detaylara yer vermeyeceğiz.

Şüphesiz bir gerçek varsa o da, şimdiden bir güç unsuru haline gelen verinin gelecekte çok daha önemli bir konumda olacağıdır. İnternetin hayatımızda çok kısa bir süredir var olduğunu hatırladığımızda bu uzun yolculuğun henüz başında olduğumuzu görebiliriz.