Reklamı Kapat

Makineler Öğrenirken Çok Fazla Güç Tüketiyor! Yapay Zekayı Enerji Açısından Bu Kadar Obur Yapan Ne?

Makineler Öğrenirken Çok Fazla Güç Tüketiyor! Yapay Zekayı Enerji Açısından Bu Kadar Obur Yapan Ne? Think Bridge
Yazar Kate Saenko Çağrı Mert Bakırcı Editör Çağrı Mert Bakırcı
5 dakika
776 Okunma Sayısı
Notlarım
Reklamı Kapat

Aralık 2020'de Google, şirketin önde gelen Yapay Zeka etiği araştırmacılarından biri olan Timnit Gebru'yu yayınlama aşamasında olduğu bir araştırma makalesini yayından kaldırmaya zorladı ve süreç, Gebru'nun işten çıkmasıyla sonuçlandı.[1] Gebru'yu işinden eden ve Google'ı bu kadar endişelendiren makale, Google arama motorunun ve diğer metin analiz ürünlerinde kullanılan dil işleme yapay zekasının risklerine dikkat çekiyordu.

Riskler arasında, bu tür bir Yapay Zeka teknolojisi geliştirmenin yol açacağı büyük karbon ayak izi de var. Bazı tahminlere göre bir Yapay Zeka modelini eğitmek, neredeyse 5 arabanın üretimi ve hurdaya çıkana kadar kullanımı sonucu ortaya çıkan miktarda karbon salınımına yol açıyor.[2]

Yapay zeka modellerini inceleyen ve geliştiren araştırmacılar, yapay zeka araştırmalarının hızla artan enerji ve finansal maliyetlerine dikkat çekmeye başladılar. Yapay zeka modelleri neden bu kadar enerjiye aç hale geldi ve geleneksel veri merkezi hesaplamalarından farkları ne?

Günümüzdeki Yapay Zeka Teknolojisi Verimsiz!

Veri merkezlerinde yapılan geleneksel veri işlem işleri arasında video yayını, e-posta ve sosyal medya bulunmaktadır. Yapay zekanın anlamayı öğrenene kadar çok sayıda veriyi okuması gerekir, bu yüzden hesaplama açısından daha yoğun bir iş yüküne sahiptir.

Reklamı Kapat

Bu eğitim, insanların öğrenme şekline kıyasla çok verimsizdir. Modern yapay zekada, insan beynindeki nöronları taklit eden matematiksel hesaplamalar, yani yapay sinir ağları kullanılır. Her nöronun komşusuna bağlanma gücü, "ağırlık" adı verilen bir ağ parametresidir. Ağ, dili nasıl anlayacağını öğrenmek için rastgele ağırlıklarla başlar ve ağın verdiği çıktı ile doğru cevap uyuşana kadar, bu ağırlıkları düzenlemeyi sürdürür.

Bir dil ağını eğitmenin yaygın yollarından biri, ağı Wikipedia ve haber kaynakları gibi web sitelerinden çok sayıda metinle beslemek, kullanılan metinlerdeki bazı kelimeleri çıkarmak ve ağa eksik kelimeleri tahmin etme komutu vermektir. Bu komuta örnek olarak, "Benim köpeğim tatlıdır." cümlesini, "tatlıdır" kelimesini maskeleyerek kullanmayı verebiliriz. Başlangıçta model, cümleyi "yanlış" olarak algılar. Ancak birçok ayarlamadan sonra, bağlantı ağırlıkları değişmeye başlar ve verideki kalıplar algılanır. Ağ, sonunda doğru hale gelir.

Transformatörlerden Çift Yönlü Kodlayıcı Temsilleri (İng: "Bidirectional Encoder Representations from Transformers" veya kısaca "BERT") olarak adlandırılan yeni bir modelde, İngilizce kitaplardan ve Wikipedia makalelerinden 3.3 milyar kelime kullanıldı.[3] Dahası, eğitim sırasında BERT, bu veri setini 1 kez değil, 40 kez okudu. Karşılaştırma yapmak gerekirse, konuşmayı öğrenen bir çocuk 5 yaşına kadar 45 milyon kelime duyabilir ve bu, BERT'in okuduğundan 3000 kat daha azdır!

Doğru Yapıyı Aramak...

Dil modellerinin daha da pahalı olmasının sebeplerinden biri de, bu eğitim sürecinin, gelişim sürecinde birçok kez gerçekleşmesidir. Bunun nedeni, araştırmacıların sinir ağı için en iyi yapıyı bulmak istemeleridir. Kaç nöron kullanılmalı, nöronlar arasında kaç bağlantı olmalı, parametreler öğrenme sırasında ne kadar hızlı değişmeli vb. Denenen her kombinasyonla, ağın yüksek doğruluk oranlarına ulaşmasına bir adım daha yaklaşılır. Yapay zekanın aksine, insan beyninin uygun bir yapı bulmasına gerek yoktur. İnsan beyninde, evrimsel süreçte bilenmiş, önceden oluşturulmuş bir yapı bulunur.

Şirketler ve akademisyenler yapay zeka alanında rekabet ettikçe, en güncel sistemi geliştirme baskısı gitgide artıyor. Makine çevirisi gibi zor görevlerde, doğrulukta %1'lik bir iyileşme elde etmek dahi önemli kabul edilir ve daha iyi reklam ve ürünlerle taçlanır. Ancak bu %1'lik iyileşmeyi elde etmek için araştırmacı, en iyisi bulunana kadar, modeli her seferinde farklı yapılarla, binlerce kez eğitebilir.

Massachusetts Amherst Üniversitesi'ndeki araştırmacılar, eğitim sırasında kullanılan ortak donanımın güç tüketimini ölçerek, yapay zeka dil modelleri geliştirmenin enerji maliyetini tahmin ettiler.[4] BERT'in eğitiminin karbon ayak izinin, bir zamanlar New York ve San Francisco arasında gidiş-dönüş uçan bir yolcununkiyle aynı olduğunu buldular. Bununla birlikte, farklı yapılar kullanarak araştırmak, diğer bir deyişle algoritmayı veriler üzerinde farklı sayılarda nöron, bağlantı ve diğer parametreleri kullanarak birden çok kez eğitmek sonucunda oluşan maliyet, 315 yolcunun veya 747 jetinin tamamının maliyetiyle eş değer hale geldi.

Daha Büyük ve Daha Sıcak...

Yapay zeka modelleri aynı zamanda olması gerekenden çok daha büyüktür ve her yıl daha da büyüyor. BERT'e benzeyen, görece daha yani bir dil modeli olan GPT-2'nin ağı içerisinde 1.5 milyar ağırlık bulunur. Yüksek doğruluk oranları nedeniyle heyecan yaratan GPT-3'ün ise ağ içinde 175 milyar ağırlığı vardır.

Araştırmacılar, daha büyük ağların, yalnızca küçük bir kısmı yararlı olsa bile daha yüksek oranda doğruluk demek olduğunu keşfetti. Nöronal bağlantılar ilk eklendiğinde ve daha sonra azaldığında, çocuk beyninde yaşanana benzer olaylar olur; ancak biyolojik beyin, enerji verimliliği bakımından bilgisayarlardan çok daha iyidir.[5]

Reklamı Kapat

Yapay zeka modelleri, geleneksel CPU'lardan daha fazla güç çeken grafik işlemci birimleri gibi özel donanımlarla eğitilirler. Bir oyun bilgisayarınız varsa, muhtemelen gelişmiş grafikleri olan Minecraft RTX gibi oyunları oynamak için kullanılan grafik işlemci birimlerinden birine sahipsiniz demektir. Aynı zamanda bilgisayarınızın, normal dizüstü bilgisayarlardan çok daha fazla ısındığını da fark edebilirsiniz.

Tüm bunlar, gelişmiş yapay zeka modellerinin, büyük bir karbon ayak izine yol açtığı anlamına gelir. %100 yenilenebilir enerji kaynaklarına geçmedikçe; yapay zekayı geliştirme hedeflerimiz, sera gazı salınımlarını azaltma ve iklim değişikliğini yavaşlatma hedefleriyle çelişebilir. Gelişimin finansal maliyeti o kadar yüksek ki, sadece birkaç seçkin laboratuvar bunu karşılayabiliyor. Bu da ne tür yapay zeka modellerinin geliştirildiğine dair gündemi onların belirleyeceği anlamına geliyor.

Daha Azıyla, Daha Çoğu Başarmak...

Bu, yapay zeka araştırmalarının gelecği için ne anlama geliyor? İşler göründüğü kadar kasvetli olmayabilir. Daha verimli eğitim yöntemleri icat edildikçe, eğitim maliyeti de düşebilir. Benzer şekilde veri merkezi verimliliğindeki gelişmeler, daha verimli donanım ve soğutma nedeniyle, son yıllarda yaşanması beklenen veri merkezi enerji kullanımı patlaması henüz gerçekleşmedi.

Modelleri eğitmenin ve kullanmanın maliyeti arasında da bir denge vardır; bu nedenle, eğitim için geçmesini göze aldığımız zaman içerisinde eğitimi tamamlayabilecek daha küçük bir model bulmak için, daha fazla enerji harcamak, yapay zeka kullanmayı daha ucuz hale getirebilir. Çünkü bir model ömrü boyunca birçok kez kullanılacaktır; bu da uzun vadede büyük miktarda enerji tasarrufu anlamına gelebilir.

Reklamı Kapat

Bir araştırma laboratuvarı, yapay zeka modellerini, ağırlıkları paylaştırarak veya ağın birden fazla bölümünde aynı ağırlıkları kullanarak daha küçük hale getirmenin yolları inceliyor. Bunlara "şekil değiştiren ağlar" adını veriyorlar.[6] Çünkü küçük bir ağırlık kümesi, herhangi bir şekil veya yapının daha büyük bir ağına yeniden yapılandırılabiliyor. Diğer araştırmacılar, ağırlık paylaşımının aynı eğitim süresinde daha iyi performansla sonuçlandığını göstermiştir.[7]

Geleceğe dönük düşünecek olursak, yapay zeka araştırmaları cemiyeti, enerji verimliliği yüksek eğitim programları geliştirmeye daha fazla yatırım yapmalıdır. Aksi takdirde, ne tür modellerin geliştirildiği, bunları eğitmek için ne tür verilerin kullanıldığı ve modellerin niçin kullanıldığı da dahil olmak üzere, gündemi belirlemeye gücü yeten birkaç kişinin, yapay zekaya hâkim olması riskiyle karşı karşıya kalırız.

Okundu Olarak İşaretle
Bu İçerik Size Ne Hissettirdi?
  • Merak Uyandırıcı! 6
  • Tebrikler! 3
  • Umut Verici! 1
  • Üzücü! 1
  • Muhteşem! 0
  • Bilim Budur! 0
  • Mmm... Çok sapyoseksüel! 0
  • Güldürdü 0
  • İnanılmaz 0
  • Grrr... *@$# 0
  • İğrenç! 0
  • Korkutucu! 0
Kaynaklar ve İleri Okuma
  1. Çeviri Kaynağı: The Conversation | Arşiv Bağlantısı
  • ^ K. Hao. We Read The Paper That Forced Timnit Gebru Out Of Google. Here’s What It Says.. (04 Aralık 2020). Alındığı Tarih: 02 Nisan 2021. Alındığı Yer: MIT Technology Review | Arşiv Bağlantısı
  • ^ K. Hao. Training A Single Ai Model Can Emit As Much Carbon As Five Cars In Their Lifetimes. (06 Haziran 2019). Alındığı Tarih: 03 Nisan 2021. Alındığı Yer: MIT Technology Review | Arşiv Bağlantısı
  • ^ J. Devlin, et al. Bert: Pre-Training Of Deep Bidirectional Transformers For Language Understanding. (11 Ekim 2018). Alındığı Tarih: 03 Nisan 2021. Alındığı Yer: arXiv.org | Arşiv Bağlantısı
  • ^ E. Strubell, et al. Energy And Policy Considerations For Deep Learning In Nlp. (05 Haziran 2019). Alındığı Tarih: 03 Nisan 2021. Alındığı Yer: arXiv.org | Arşiv Bağlantısı
  • ^ Center on the Developing Child at Harvard University. Brain Architecture. (20 Ağustos 2019). Alındığı Tarih: 03 Nisan 2021. Alındığı Yer: Center on the Developing Child at Harvard University | Arşiv Bağlantısı
  • ^ B. A. Plummer, et al. Shapeshifter Networks: Decoupling Layers From Parameters For Scalable And Effective Deep Learning. (18 Haziran 2020). Alındığı Tarih: 03 Nisan 2021. Alındığı Yer: arXiv.org | Arşiv Bağlantısı
  • ^ Z. Lan, et al. Albert: A Lite Bert For Self-Supervised Learning Of Language Representations. (26 Eylül 2019). Alındığı Tarih: 03 Nisan 2021. Alındığı Yer: arXiv.org | Arşiv Bağlantısı

Evrim Ağacı'na her ay sadece 1 kahve ısmarlayarak destek olmak ister misiniz?

Şu iki siteden birini kullanarak şimdi destek olabilirsiniz:

kreosus.com/evrimagaci | patreon.com/evrimagaci

Çıktı Bilgisi: Bu sayfa, Evrim Ağacı yazdırma aracı kullanılarak 11/04/2021 12:26:51 tarihinde oluşturulmuştur. Evrim Ağacı'ndaki içeriklerin tamamı, birden fazla editör tarafından, durmaksızın elden geçirilmekte, güncellenmekte ve geliştirilmektedir. Dolayısıyla bu çıktının alındığı tarihten sonra yapılan güncellemeleri görmek ve bu içeriğin en güncel halini okumak için lütfen şu adrese gidiniz: https://evrimagaci.org/s/10317

İçerik Kullanım İzinleri: Evrim Ağacı'ndaki yazılı içerikler orijinallerine hiçbir şekilde dokunulmadığı müddetçe izin alınmaksızın paylaşılabilir, kopyalanabilir, yapıştırılabilir, çoğaltılabilir, basılabilir, dağıtılabilir, yayılabilir, alıntılanabilir. Ancak bu içeriklerin hiçbiri izin alınmaksızın değiştirilemez ve değiştirilmiş halleri Evrim Ağacı'na aitmiş gibi sunulamaz. Benzer şekilde, içeriklerin hiçbiri, söz konusu içeriğin açıkça belirtilmiş yazarlarından ve Evrim Ağacı'ndan başkasına aitmiş gibi sunulamaz. Bu sayfa izin alınmaksızın düzenlenemez, Evrim Ağacı logosu, yazar/editör bilgileri ve içeriğin diğer kısımları izin alınmaksızın değiştirilemez veya kaldırılamaz.

Reklamı Kapat
Güncel
Karma
Agora
Instagram
Uçak
Karbon
Köpekbalığı
Yaşamın Başlangıcı
Ribozim
Bilim Felsefesi
Kurbağa
Yapay
Canlılık Cansızlık
Video
Sars Mers
Factchecking
Klinik Mikrobiyoloji
Yapay Zeka
Teori
Cinsiyet
Saç
Sinek
Sperm
Safsata
Sinirbilim
Yaşam
Viral
Teyit
Yas
Daha Fazla İçerik Göster
Daha Fazla İçerik Göster
Yazı Geçmişi
Okuma Geçmişi
Notlarım
İlerleme Durumunu Güncelle
Okudum
Sonra Oku
Not Ekle
Kaldığım Yeri İşaretle
Göz Attım

Evrim Ağacı tarafından otomatik olarak takip edilen işlemleri istediğin zaman durdurabilirsin.
[Site ayalarına git...]

Filtrele
Listele
Bu yazıdaki hareketlerin
Devamını Göster
Filtrele
Listele
Tüm Okuma Geçmişin
Devamını Göster
0/10000

Göster

Şifremi unuttum Üyelik Aktivasyonu

Göster

Şifrenizi mi unuttunuz? Lütfen e-posta adresinizi giriniz. E-posta adresinize şifrenizi sıfırlamak için bir bağlantı gönderilecektir.

Geri dön

Eğer aktivasyon kodunu almadıysanız lütfen e-posta adresinizi giriniz. Üyeliğinizi aktive etmek için e-posta adresinize bir bağlantı gönderilecektir.

Geri dön

Close
Geri Bildirim Gönder
Reklamsız Deneyim

Evrim Ağacı'nın çalışmalarına Kreosus, Patreon veya YouTube üzerinden maddi destekte bulunarak hem Türkiye'de bilim anlatıcılığının gelişmesine katkı sağlayabilirsiniz, hem de site ve uygulamamızı reklamsız olarak deneyimleyebilirsiniz. Reklamsız deneyim, Evrim Ağacı'nda çeşitli kısımlarda gösterilen Google reklamlarını ve destek çağrılarını görmediğiniz, daha temiz bir site deneyimi sunmaktadır.

Kreosus

Kreosus'ta her 10₺'lik destek, 1 aylık reklamsız deneyime karşılık geliyor. Bu sayede, tek seferlik destekçilerimiz de, aylık destekçilerimiz de toplam destekleriyle doğru orantılı bir süre boyunca reklamsız deneyim elde edebiliyorlar.

Kreosus destekçilerimizin reklamsız deneyimi, destek olmaya başladıkları anda devreye girmektedir ve ek bir işleme gerek yoktur.

Patreon

Patreon destekçilerimiz, destek miktarından bağımsız olarak, Evrim Ağacı'na destek oldukları süre boyunca reklamsız deneyime erişmeyi sürdürebiliyorlar.

Patreon destekçilerimizin Patreon ile ilişkili e-posta hesapları, Evrim Ağacı'ndaki üyelik e-postaları ile birebir aynı olmalıdır. Patreon destekçilerimizin reklamsız deneyiminin devreye girmesi 24 saat alabilmektedir.

YouTube

YouTube destekçilerimizin hepsi otomatik olarak reklamsız deneyime şimdilik erişemiyorlar ve şu anda, YouTube üzerinden her destek seviyesine reklamsız deneyim ayrıcalığını sunamamaktayız. YouTube Destek Sistemi üzerinde sunulan farklı seviyelerin açıklamalarını okuyarak, hangi ayrıcalıklara erişebileceğinizi öğrenebilirsiniz.

Eğer seçtiğiniz seviye reklamsız deneyim ayrıcalığı sunuyorsa, destek olduktan sonra YouTube tarafından gösterilecek olan bağlantıdaki formu doldurarak reklamsız deneyime erişebilirsiniz. YouTube destekçilerimizin reklamsız deneyiminin devreye girmesi, formu doldurduktan sonra 24-72 saat alabilmektedir.

Diğer Platformlar

Bu 3 platform haricinde destek olan destekçilerimize ne yazık ki reklamsız deneyim ayrıcalığını sunamamaktayız. Destekleriniz sayesinde sistemlerimizi geliştirmeyi sürdürüyoruz ve umuyoruz bu ayrıcalıkları zamanla genişletebileceğiz.

Giriş yapmayı unutmayın!

Reklamsız deneyim için, maddi desteğiniz ile ilişkilendirilmiş olan Evrim Ağacı hesabınıza üye girişi yapmanız gerekmektedir. Giriş yapmadığınız takdirde reklamları görmeye devam edeceksinizdir.

Destek Ol

Devamını Oku