ReLU Fonksiyonu Alternatifi: Delta Fonksiyonu

Delta fonksiyonunun ReLU ya alternatif olduğunu söylemek yanlış olmaz. Ama önce yapay nöron nedir onu anlayalım

Yapay Nöron Tanımı

Yapay nöronu, yapay zeka olarak adlandırmak yanlış olur. Çünkü yapay zeka dediğimiz şey tam olarak ne olduğunu anlamak lazım. Eğer bir veri girdikten sonra bize bir çıktı veriyorsa buna yapay zeka demek ile, bir veri girip çıktıyı arka planda işlemler ile bize çıktı verdiği zaman bu işlemi yapan elektronik alet/kod/program a yapay zeka demek başka. Bunu anladığımıza göre asıl konuya geçelim.

Yapay Nöron ve Yapay Sinir Ağları

Yapay nöron dediğimiz şey, bir veri ya da veri dizesi girdikten sonra arka planda işlemler ile bize veriye göre çıktı veren kod parçaları denilebilir. Yapay sinir ağları ise, bu yapay nöronların birbirine bağlanması denilebilir. Aşağıdaki fotoğraflar anlamanıza yardımcı olacaktır.

Delta Fonksiyonunun Avantajları

1. Basitlik: Delta fonksiyonu matematiksel olarak basit bir yapıya sahiptir ve bu nedenle anlaşılması ve uygulanması kolaydır.
2. Daha Az Parametre: Delta işlevi, ReLU gibi işlevlere kıyasla daha az parametreye sahiptir ve bu, modelin daha basit ve daha hızlı öğrenilmesine katkıda bulunabilir.
3. Ölü nöron oluşma olasılığı azaltıldı: Ölü nöron dediğimiz şey, bir nöronun negatif değeri döndüremeyip yapay sinir ağlarında çöküntü olmasına neden olur. Hem işe yaramaz hem de yer kaplar.

Gradyan Sorunları

Gradyan, bir fonksiyonun bir noktadaki değişim oranını veya eğimini ifade eden bir kavramdır. Matematiksel olarak bir fonksiyonun Gradyan'ı o fonksiyonun türevidir. Bir fonksiyonun türevi, bağımsız değişkenindeki küçük bir değişikliğin, bağımlı değişkenindeki değişiklikle orantılı olduğunu belirtir.

Eğer f(x) bir fonksiyon ise, f ′(x) ile gösterilen türevi, fonksiyonun x noktasındaki eğimini temsil eder. Aşağıdaki formülle ifade edilebilir:

$f\prime (x)=limh\to 0f(x+h)-f(x)/h$

Bu formülde ℎ çok küçük bir değerdir ve x noktasındaki eğimi hesaplamak için kullanılır. Türev negatifse fonksiyonun eğimi azalıyor; Pozitif ise fonksiyonun eğimi artmaktadır.

Evrim Ağacı'ndan Mesaj

Neden Desteğe İhtiyacımız Var?

Aslında maddi destek istememizin nedeni çok basit: Çünkü Evrim Ağacı, bizim tek mesleğimiz, tek gelir kaynağımız. Birçoklarının aksine bizler, sosyal medyada gördüğünüz makale ve videolarımızı hobi olarak, mesleğimizden arta kalan zamanlarda yapmıyoruz. Dolayısıyla bu işi sürdürebilmek için gelir elde etmemiz gerekiyor.

Bunda elbette ki hiçbir sakınca yok; kimin, ne şartlar altında yayın yapmayı seçtiği büyük oranda bir tercih meselesi. Ne var ki biz, eğer ana mesleklerimizi icra edecek olursak (yani kendi mesleğimiz doğrultusunda bir iş sahibi olursak) Evrim Ağacı'na zaman ayıramayacağımızı, ayakta tutamayacağımızı biliyoruz. Çünkü az sonra detaylarını vereceğimiz üzere, Evrim Ağacı sosyal medyada denk geldiğiniz makale ve videolardan çok daha büyük, kapsamlı ve aşırı zaman alan bir bilim platformu projesi. Bu nedenle bizler, meslek olarak Evrim Ağacı'nı seçtik.

Eğer hem Evrim Ağacı'ndan hayatımızı idame ettirecek, mesleklerimizi bırakmayı en azından kısmen meşrulaştıracak ve mantıklı kılacak kadar bir gelir kaynağı elde edemezsek, mecburen Evrim Ağacı'nı bırakıp, kendi mesleklerimize döneceğiz. Ama bunu istemiyoruz ve bu nedenle didiniyoruz.

Destek Ol

Gradyan, çok boyutlu fonksiyonlarla çalışırken sıklıkla kullanılan bir kavramdır. Bir fonksiyonun birden fazla bağımsız değişkeni varsa Gradyan vektörü kullanılır. Örneğin f(x,y) fonksiyonunun Gradyan vektörü aşağıdaki gibidir:

$\nabla f(x,y)=(\partial x/\partial f,\partial y\partial f)$

Bu vektör, f fonksiyonunun x ve y değişkenlerine göre türevlerini içerir. Gradyan, bir fonksiyonun minimum veya maksimum noktalarını, yani eğimin sıfır olduğu noktaları bulmak ve optimize etmek için sıklıkla kullanılır.

ReLU gibi işlevlerden etkilenen bir özelliği vardır. Bu tür işlevler derin öğrenme modellerinde sıklıkla kullanılır ve bazı avantaj ve dezavantajlara sahiptir.

Giriş negatif (0,1) olduğunda delta fonksiyonunun küçük bir eğimi vardır ve sıfırın altındaki değerlerde daha fazla esneklik sağlar. Bu, negatif girdilerle ilişkili "sıfırlama sorunu" veya "ölü nöron sorunu" ile başa çıkmaya yönelik bir yaklaşımdır diyebiliriz.

Ölü Nöron ?

“Ölü nöron” terimi, sinir ağındaki bir noktadan sonra asla aktifleşmeyen veya öğrenmeye katkıda bulunmayan bir nöronu ifade eder. Bu genellikle aktivasyon fonksiyonları ve modelin mimarisi ile ilgilidir.

En yaygın örnek, ReLU (Düzeltilmiş Doğrusal Birim) aktivasyon fonksiyonu kullanıldığında ortaya çıkar. ReLU işlevi negatif girişler için sıfır çıkış verir: f(x)=max(0,x)

Bir nöronun ağırlıklı girdi toplamı negatifse, ReLU fonksiyonu sıfıra döndüğü için o nöron tekrar aktif olmayacak ve dolayısıyla öğrenmeye katkısı olmayacaktır. Bu duruma “ölü nöron” denir.

Ölü nöronlar çoğu zaman modelin genel performansını düşürebilir çünkü bu nöronlar öğrenme sürecine katkı sağlamaz, ağırlıkları güncellenmez ve bilgi akışı durur. Özellikle çok derin sinir ağlarında bu sorun daha da belirginleşebilmektedir.

Bunun açıklamak için aşağıdaki grafik size yardımcı olabilir.

Delta Fonksiyonu Açılımı

$relu(x)=max(0,x)$

Agora Bilim Pazarı

GENEL KİMYA (RAYMOND CHANG) CİLTLİ

Devamını Göster

₺1.919,00

Satın Al Tüm Ürünler

ReLU fonksiyonu her ne kadar basit olsa da negatif sayılar için tam bir kabus. Çünkü negatif sayı girince size çıktı olarak 0 vermekte.

$delta(x)=max(0,x)+0.1\ast min(0,x)$

ReLU dan etkilenmiş gibi dursa da bazı farklı yanları var. Dikkat çeken ilk şey '0.1' kısmı. Bu, girilen sayının negatif olması durumunda çıktıyı 0 vermemek için eklediğim kısım. 'min(0,x)' kısmı ise çıktı yelpazesini genişletmek için koydum.

Kısa özet

Tasarladığım Delta fonksiyonu, ReLU fonksiyonunun en büyük dezavantajlarından biri olan 'ölü nöron' problemini hafifletmeyi amaçlıyor. Kısaca yapay zekadaki bu delta fonksiyonu ReLU dan daha fazla katkı sağlamayı amaçlıyor. Ancak etkililiği bağlama bağlıdır ve özetlemek gerekirse delta işlevi, çıktı olarak 0 yerine düşük bir değer sağlayarak 'ölü nöron' sorununu azaltır, böylece öğrenme hızını artırır.