Yapay Zekâ Destekli Kulaklıklar, Kalabalıkta Odaklandığınız Kişiyi Dinleyebilmenizi Sağlıyor!

Gürültü önleyici kulaklıklar, işitsel olarak gürültüsüz bir ortam oluşturmada oldukça başarılılar. Ancak ses silme işlemi esnasında kullanıcının bulunduğu ortamdan gelen belirli seslere izin verilmesi araştırmacıları hâlâ zorluyor. Örneğin Apple'ın AirPods Pro'sunun en son sürümü, kullanıcılar için ses seviyelerini otomatik olarak ayarlıyor (örneğin ne zaman sohbet ettiklerini algılıyor), ancak kullanıcının kimi dinleyeceği veya bunun ne zaman olacağı konusunda çok az kontrolü var.

Washington Üniversitesi'nden bir ekip, kulaklık takan bir kullanıcının konuşan bir kişiye sadece üç ila beş saniye boyunca bakarak bu kişinin sesini işleme almasını sağlayan bir yapay zekâ sistemi geliştirdi. "Hedef Konuşmayı İşitme" adı verilen sistem, hedef kişiyi kaydettikten sonra ortamdaki diğer tüm sesleri iptal ediyor ve dinleyici gürültülü bir ortamda bulunsa ve artık konuşmacıyla yüz yüze olmasa bile kayıtlı konuşmacının sesini gerçek zamanlı olarak kulaklık aracılığıyla aktarmaya devam ediyor.

Ekip bulgularını 14 Mayıs'ta Honolulu'da düzenlenen ACM CHI Bilgisayar Sistemlerinde İnsan Faktörleri Konferansı'nda sundu. Kavram kanıtlayıcı cihazın kodu başkalarının da geliştirebilmesi için açık kaynak olarak mevcut. Ancak sistem ticari olarak piyasaya sürülmedi. Paul G. Allen Bilgisayar Bilimi ve Mühendisliği Okulu'nda UW profesörü olan kıdemli yazar Shyam Gollakota bu konuda şöyle diyor:

Şu an için yapay zekâyı soruları yanıtlayan web tabanlı sohbet robotları olarak düşünme eğilimdeyiz. Ancak bu projede, kulaklık takan herkesin işitsel algısını tercihleri ​​doğrultusunda değiştirmek için bir yapay zekâ geliştiriyoruz. Cihazlarımız sayesinde artık birçok kişinin konuştuğu gürültülü bir ortamda olsanız bile tek bir konuşmacıyı net bir şekilde duyabileceksiniz.

Sistemi kullanmak için, mikrofonlarla donatılmış hazır kulaklıklar takan kişi kafasını konuşan birine doğrultarak bir düğmeye basıyor. Hedef konuşmacının sesinden çıkan ses dalgaları, kulaklığın her iki tarafındaki mikrofonlara aynı anda ulaşmalı, ancak bu kısımda 16 derecelik bir hata payı var.

Ses dalgaları mikrofonlara eş zamanlı olarak ulaştıktan ve algılandıktan sonra, kulaklıklar bu sinyali yerleşik bir bilgisayara gönderiyor ve burada ekibin makine öğrenimi yazılımı, hedef konuşmacının ses kalıplarını öğreniyor. Sistem, konuşmacının sesini yakalıyor ve ikili farklı ortamlarda hareket etmeye devam ederken bile bu sesi dinleyiciye vermeye devam ediyor. Sistemin ilgili sese odaklanma yeteneği, konuşmacı konuşmaya devam ettikçe gelişerek sisteme daha fazla eğitim verisi sağlıyor ve deneyimi iyileştirmeye de devam ediyor.

Ekip, sistemi 21 denek üzerinde test etti. Katılımcılar, seçili konuşmacının sesinin netliğinin ortalama olarak filtrelenmemiş bir sesin neredeyse iki katı kadar yüksek olduğunu belirtti. Bu çalışma, ekibin kullanıcıların duymak istedikleri belirli ses sınıflarını (kuşlar veya sesler gibi) seçmelerine ve ortamdaki diğer sesleri iptal etmelerine olanak tanıyan önceki "anlamsal işitme" (İng: "semantic hearing") araştırmasını temel alarak yeni bulguları üzerine koyuyor.

Şu anda Hedef Konuşmayı İşitme sistemi aynı anda yalnızca bir konuşmacıya odaklanabiliyor ve yalnızca hedef konuşmacının sesiyle aynı yönden gelen başka bir yüksek ses olmadığında çalışıyor. Kullanıcı ses kalitesinden memnun değilse netliği artırmak için hoparlörde başka bir seçim denenebiliyor. Ekip, gelecekte sistemi kulaklıklara ve işitme cihazlarına da entegre edebilmek için çalışıyor.