Beyin Sinyalleri, Yapay Zeka Kullanılarak Konuşmaya Dönüştürüldü!

Nörobilimciler, konuşamayan insanların ses üretebilmesini sağlamak için beyin sinyallerini konuşmaya dönüştürebilen bir cihaz geliştirdiler.

Bu teknoloji, henüz laboratuvar dışında kullanılmak için yeterince hassas olmamasına karşın, çoğu anlaşılabilir olan cümleler sentezleyebilmekte. Yeni teknolojiyi geliştiren uzmanlar, konuşmayı deşifre etme cihazlarının detaylarını Nature dergisinde yayınladılar.

Atlanta, Georgia’da bulunan Emory Üniversitesi'nde bir nöromühendis olarak çalışan, makale yazarlarından Chethan Pandarinath şöyle diyor: 

Bilim insanları, yakın zamanda çoğunlukla tek heceden oluşan, kimi zaman 2 veya 3 heceden oluşabilen kelimeleri, beyin etkinliği kullanılarak sese dönüştürmek için yapay zekayı kullandılar. Ayrı ayrı kelimelerden, tam cümlelere geçiş için yapılan sıçrayış teknik açıdan oldukça zorluydu. Bu çalışmayı böylesine etkileyici kılan nedenlerden birisi de bu.

Hareketleri Haritalamak...

San Francisco’daki California Üniversitesi'nde bir beyin cerrahı ve çalışmanın öncüsü olan Edward Chang şöyle diyor: 

Konuşma yeteneğini kaybeden birçok insan, iletişim kurmak için farklı teknolojilerden faydalanıyor. Şu anda yaygın olan teknolojide, bir imleç kullanarak, harfleri ve bazı kelimeleri gösteren bir ekrandan tek tek seçim yapmak gerekiyor. Bu imleci kullanabilmek için çok küçük hareketler gerekiyor. Motor nöron hastalığı bulunan Stephen Hawking, bunu kullanan ünlü örneklerden biri. Kendisi, yanağındaki bir kas sayesinde hareket ettirilen bir imleç kullanmaktaydı. Bu tip cihazları kullanan insanlar kelimeleri harf harf yazarlar. Dolayısıyla bu cihazlar dakikada on adete kadar kelime üretilebilir ve çok yavaştır. Doğal konuşma ise dakikada ortalama 150 kelime içeriyor. Bunu, ses kutumuzun verimliliği sayesinde başarabiliyoruz.

Bu temelden yola çıkan Chang ve ekibi, kendi şifre çözücülerini oluştururken insanların ses kutusunu ve vokal yolağını modellemeye karar verdiler.  

Araştırmacılar, epilepsi tedavisinin bir parçası olarak beyinlerine elektrotlar yerleştirilmiş beş birey ile çalıştılar. Ekip ilk olarak, katılımcılar yüzlerce cümleyi yüksek sesle okudukları sırada oluşan beyin etkinliklerini kaydetti. Sonrasında Chang ve arkadaşları, bu kayıtları; dil, dudak, çene ve gırtlak hareketlerinin nasıl ses oluşturduğunu belirleyen ve önceki çalışmalardan gelen veriler ile birleştirdiler.

Ekip, bu verileri kullanarak bir derin öğrenme algoritması üzerine çalıştı ve sonrasında programı kendi deşifre cihazlarına dahil etti. Cihaz, beyin sinyallerini vokal bölgenin tahmin edilen hareketlerine dönüştürmekte ve bu hareketleri sentezlenmiş konuşma haline getirmekte. Chang şöyle diyor:

Sentezlenen 101 cümleyi dinleyen kişiler, ortalama olarak kelimelerin %70’ini anlayabildiler.

Siz de buradaki MP3 kaydını dinleyerek sesleri anlayıp anlayamadığınızı test edebilirsiniz. Ses kaydında ilk olarak üretilmek istenen cümle söyleniyor: "Ship building is a most fascinating process.", yani: "Gemi inşaatı baş döndürücü bir süreçtir". Sonrasında ise aynı cümle, düşünceler aracılığıyla üretiliyor ve ses dönüştürülüyor. Ses kaydının ikinci kısmında ise, bir diğer cümle söyleniyor: "The proof that you are seeking is not available in the books.", yani: "Aradığın kanıt, kitaplarda bulunmuyor.". Sonrasında bu cümle de, düşüncelerden üretiliyor.

Başka bir deneyde araştırmacılar, bir katılımcıdan cümleleri yüksek sesle okumasını ve ardından aynı cümleleri ağzını ses çıkarmadan hareket ettirerek taklit etmesini istedi. Chang, bu deneye ait şu yorumu yapıyor:

Bu testte oluşturulan cümlelerin kalitesi, sesli konuşma ile elde edilenlere göre daha düşüktü; ancak sonuçlar yine de umut verici.

Yukarıdaki videoda, vokal bölge hareketlerinin sesli okuma ve sessiz taklit ile nasıl şifrelendiği ve bu şifrelerin nasıl çözüldüğü anlatılıyor. Chang’in de ifade ettiği gibi, sessiz taklit sonrası yapılan deşifreden elde edilen kelimelerin anlaşılırlığının daha az olduğu görülüyor. 

Anlaşılabilir Gelecek

California’daki Diego Eyalet Üniversitesinde bir nörobilimci olan Stephanie Riès şöyle diyor:

Beyin faaliyetinin ses kutusundaki hareketlere göre haritalandırılıp, sonrasında bunları sese dönüştürerek elde edilen cümleler; beyin faaliyetlerini doğrudan sese dönüştürerek elde edilen cümlelere göre çok daha anlaşılır.

Seattle’daki Washington Üniversitesinde bir sinir mühendisi olan Amy Orsbon, çalışmaya dair düşüncelerini şöyle açıklamakta:

Yeni konuşma deşifre cihazının, bireylerin sadece düşündükleri kelimelerle çalışıp çalışmayacağı net değil. Çalışma, konuşma taklidi yapıldığında çalıştığını gerçekten güzel bir şekilde göstermekte. Ancak biri ağzını hareket ettirmediği zaman bu sistem nasıl işleyecek?

Chicago, Illinois’deki Northwestern Üniversitesi'nde bir nörolog olan Marc Slutzky de aynı fikirde ve deşifre cihazının performansının gelişmeye açık kapı bıraktığını ifade etmekte. Slutzky şöyle söylüyor:

Dinleyiciler, sentezlenen cümleleri anladıklarını göstermek için, onlara sunulan bir dizi kelime içinden sözcükler seçtiler. Ama onlara sunulan sözcük sayısı arttıkça, sentezlenen cümledeki kelimeleri tespit etme başarısı da düştü. Çalışma gerçekten çok önemli bir adım; ancak sentezlenen konuşmanın kolaylıkla anlaşılabilir olmasının önünde hala uzun bir yol bulunmakta.