Doğal Dil İşleme (NLP) Hakkında Bilmeniz Gereken Her Şey!

Doğal dil işleme (İng: "Natural Language Processing"), bir bilgisayar programının insan dilini konuşulduğu ve yazıldığı şekliyle anlayabilme becerisi anlamına gelir. Elli yılı aşkın geçmişi olan ve temelleri dilbilim alanına dayanan NLP; tıp alanındaki araştırmalar, arama motorları ve iş zekâsı gibi birçok alanda uygulanabilir.

Şirketler yapılandırılmamış, ağırlığı metinlerden oluşan, çevrimiçi ortamlarda yaratılmış ve geneli doğal insan dili formunda olan son derece büyük veri tabanlarına sahiptir ve bu verileri verimli bir şekilde işlemeleri ve analiz etmeleri gerekmektedir. Doğal dil işleme de bu noktada devreye girer. Örneğin şu iki tümceyi inceleyelim:

Bulut bilişim sigortası tüm hizmet seviyesi anlaşmalarının bir parçası olmalıdır. İyi bir HSA, insanın bulutlar üzerinde uyumasını sağlar.

Doğal dil işleme sistemleri, "bulutlar üzerinde" ifadesinin "bulut bilişim sistemlerini" kast ettiğini; HSA'nın ise bu sektörde kullanılan bir kısaltma olduğunu ve "Hizmet Seviyesi Anlaşması" anlamına geldiğini çözebilmektedir.

Bununla beraber insan dilinde sıkça karşımıza çıkan, makine öğrenmesi algoritmalarının uzun süredir kavramakta zorlandığı belirsiz ifadeler de yok değildir. Ancak algoritmalar, derin öğrenme ve makine öğrenimi yöntemlerinde yapılan atılımlar sayesinde bu belirsiz ifadeleri çözebilmeye başlamış; böylelikle "analiz edilebilecek veri" kapsamını bir hayli genişletmiştir.

Pexels

Doğal Dil İşlemenin Faydaları

Bir bilgisayar kullanmanın en doğrudan yolu; bilgisayarın dilini konuşmak, yani kodlama dillerini öğrenmektir. Bilgisayarları doğal dil işleme yoluyla insan dilini anlayabilecek bir hale getirmek; bir başka deyişle insanlar ve bilgisayarlar arasındaki iletişimi kolaylaştırmak ise kurduğumuz bu iletişimi çok daha doğal bir mertebeye çıkarmaktadır. Doğal dil işlemenin diğer faydaları arasında ise şunlar göze çarpmaktadır:

• Bilgi ve belge yönetimi sistemlerinde hataların azaltılması ve verimliliğin artırılması,
• Büyük ve karmaşık bir yazının otomatik bir şekilde kısaltılması/özetinin çıkarılması,
• Alexa gibi asistan sistemlerin konuşma dilini anlamasının sağlanması,
• Kurum ve kuruluşların "sohbet robotu" gibi sistemlerden faydalanmasını sağlayarak müşteri hizmetleri sistemlerinin otomatikleştirilmesi,
• Duygu analizi,
• Veri boyutlarının bir hayli büyük olması nedeniyle geleneksel yollarla analiz edilemeyen veri bankalarından çeşitli öngörülerin elde edilmesi.

Doğal Dil İşlemenin Zorlukları

Doğal dil işleme konusunda birçok zorluk karşımıza çıkmakta olup bu zorlukların büyük bir kısmı dilin sürekli değişen ve bolca tutarsız ifade içeren bir olgu olmasından kaynaklanmaktadır. Bu zorluklar arasında özellikle göze çarpanlar şu şekildedir:

• Kesinlik/Doğruluk: Bilgisayarlar ile olan iletişim net, muğlaklıklardan arındırılmış ve yapılandırılmış bir kodlama dili ile veya net bir şekilde telaffuz edilen ses komutları aracılığıyla gerçekleşmektedir. Bununla beraber insan dili her zaman kesin değildir; genellikle belirsiz ifadeler içerir. Dilbilimsel yapı günlük konuşma dili, bölgesel ağızlar ve toplumsal bağlam gibi birçok karmaşık değişkene bağlı olarak değişmektedir.
• Ses Tonu ve Vurgu: Doğal dil işleme sistemleri henüz mükemmel düzeyde değildir. Anlambilimsel (semantik) analizler hala zorluk çıkarabilmekte; dilin içerdiği soyut kullanımlar programlar tarafından anlaşılamayabilmektedir. Bu durum özellikle hiciv gibi söz sanatlarında göze çarpmaktadır. Hiciv ve benzeri kullanımlar, kullanılan sözcüklerin anlamlarının anlaşılmasının yanında konuşma içerisinde bağlamın da anlaşılmasını gerektirmektedir. Bunun yanında bazı tümcelerin anlamı, vurgulanan sözcük veya heceye göre değişebilmektedir. Doğal dil işleme algoritmaları, bu küçük (ancak önemli) ton değişikliklerini kaçırabilmekte; konuşma tonu ve vurgusu aksandan aksana değiştiği için yetersiz kalabilmektedir.
• Dildeki Değişimler: Doğal dil işleme alanının karşı karşıya olduğu bir başka zorluk da dilin (ve dil kullanımının) sürekli bir değişim içinde olmasıdır. Dilin kuralları yok değildir; ancak bu kuralların değişmesinin önünde bir engel bulunmamaktadır. Dolayısıyla bu kurallar gözetilerek geliştirilen algoritmalar, kurallar değiştikçe geçerliliklerini ve işlevselliklerini yitirebilmektedir.

Doğal Dil İşleme Hangi Alanlarda Kullanılır?

Doğal dil işleme sistemleri; sosyal medya incelemelerinin analiz edilmesi yoluyla müşteri geri bildirim analizlerinin yapılması; çağrı merkezlerini arayan müşterilerin konuşmalarının çözümlenmesi yoluyla doğru birimlere aktarılması; Google Translate, Bing Translator gibi araçlarla otomatik çeviri; geniş kapsamlı akademik materyallerin yalnızca üstveri (İng: "metadata") ile değil, tamamının incelenmesi yoluyla analiz edilmesi; tıbbi kayıtların incelenmesi ve öngörü oluşturulması yoluyla hastalıkların erken teşhis edilmesi ve önlenmesi; Grammarly ve Microsoft Word gibi programlarla intihallerin tespit edilmesi ve son okumaların yapılması; pazar geçmişinin ve kapsamlı şirket mali performans raporlarının incelenmesi yoluyla stok fiyat tahminlerinin ve ticari öngörülerin oluşturulması; insan kaynakları bağlamında özgeçmişlerin incelenmesi ve yapay zeka ile desteklenen avukatlık uygulamaları ile yargı sürecinin otomasyonu gibi birçok alanda kullanılmaktadır ve birçok yönden faydalıdır. Bu bağlamda doğal dil işleme sistemleri tarafından kullanılan yöntemler basitçe şu şekilde özetlenebilir:

• Metin Sınıflandırması: Doğal dil işleme, metin sınıflandırma kapsamında metinlerin etiketlenerek çeşitli kategorilere ayrılabilmesini sağlamaktadır. Böylelikle algoritmalar, bir metnin duygu analizini gerçekleştirebilir. Örneğin bir algoritma, A markasının geçtiği X sayıda metini bu yolla inceleyip bu metinlerin ne kadarının olumlu ne kadarının olumsuz olduğunu saptayabilmekte; Niyet Analizi gibi yöntemlerle konuşmacının veya yazarın ürettiği metinler çerçevesinde ne amaçladığını anlayabilmektedir.
• Metin Çıkarma: Bu alan, bir metinin otomatik olarak özetlenmesini ve önemli verilerin belirlenmesini içerir. Örneğin Anahtar Sözcük Çıkarma yöntemi ile bir metnin içerdiği en önemli sözcükler bulunabilir. Bulunan bu sözcükler, arama motoru optimizasyonunun daha iyi bir düzeyde yapılmasını sağlayarak verimi artırabilmektedir. Belirli Anahtar Sözcük Çıkarma araçları, bazı parametreler belirlendikten sonra sürecin büyük bir kısmını otomatik olarak yapmaktadır, ancak süreç tamamen otomatik gerçekleşmemekte; yine de bir miktar kodlama bilgisi gerektirmektedir.
• Makine Çevirisi: Bir bilgisayarın herhangi bir insan müdahalesi olmaksızın bir dilden bir başka dile çeviri yapmasıdır.
• Doğal Dil Oluşturma: Doğal dil işleme algoritmaları ile yapılandırılmamış verilerin incelenmesi yoluyla bu verilerin temel alındığı içeriklerin otomatik olarak oluşturulmasıdır. GPT3 gibi dil modelleri bunun en bilinen örnekleridir; bu modeller, yapılandırılmamış bir metni analiz edip sağlanan metin çerçevesinde kabul edilebilir cevaplar üretebilmektedir.

Doğal dil işleme üzerine yapılan çalışmalar ağırlıklı olarak "aratma" alanında karşımıza çıkmaktadır. İnsanlar, bilgi edinmek istedikleri bir konuyu tıpkı bir insana soracakları şekilde sisteme sorar; algoritmalar insan dili ile oluşturulan bu sorudaki önemli bileşenleri belirli yöntemlerden faydalanarak yorumlar ve veri setinde ilgili alanlarla eşleştirir. Böylelikle bir cevap oluşturulabilir.

Doğal dil işlemenin kullanıldığı bir başka alan ise serbest ve yapılandırılmamış metinlerin yorumlanması, bir başka deyişle analiz edilebilecek hale getirilmesidir. Serbest metinler, örneğin tıbbi kayıtlar kayda değer boyutlarda bilgi içermektedir. Bu bilgiler, derin öğrenme temelli NLP modellerinden önce kullanılan bilgisayar destekli analiz yöntemleriyle incelenememekte ve sistematik bir şekilde analiz edilememekteydi. Alanda yaşanan gelişimlerle beraber bu veriler günümüzde kolaylıkla analiz edilebilmekte ve ilgili bilgiye ulaşılabilmektedir.

Bir diğer alan ise duygu analizidir. Örneğin bir şirket, sosyal medyada kendisi hakkında yapılan tüm yorumları doğal dil işleme yoluyla inceleyerek marka performansını takip edebilmekte veya müşteri hizmetlerinin elde ettiği bilgileri tarayarak müşterilerinin geri bildirimlerini inceleyebilmekte, böylelikle istek ve ihtiyaçlarına cevap verebilmektedir.

Pexels

Doğal Dil İşleme Nasıl Çalışır?

Dil ister yazılı ister sözlü formda olsun, doğal dil işleme sistemleri tıpkı insanlar gibi kamera ve mikrofon yardımıyla gerçek dünya girdisini alır, yapay zekâ ile beyinlerimizde işlediğimiz gibi işler ve bir bilgisayarın anlayabileceği (veya çözümleyebileceği) şekilde kodlar. Tüm bu işlemler veri ön işleme ve algoritma geliştirme olmak üzere iki fazda ele alınır.

Veri ön işleme, metin verilerinin makinelerce analiz edebilmesi için hazırlanmasını ve "temizlenmesini" içerir. Bu sayede veriler, üzerinde işlem yapılabilecek hale getirilir ve algoritma tarafından kullanılacak özellikler vurgulanır. Veri ön işleme, birkaç farklı yöntem takip edilerek yapılabilir:

• Tokenizasyon (İşaretleme): Metnin daha küçük parçalara ayrılmasıdır.
• Etkisiz Kelimelerin Kaldırılması: Metinden anlama etki etmeyen sözcüklerin silinmesidir.
• Lemmatizasyon ve Stemming (Köke İndirgeme): Sözcüklerin işlenmek üzere kök biçimlerine indirgenmesidir.
• Sözcük Türü İşaretleme: Sözcüklerin isim, fiil ve sıfat gibi türlere ayrılmasıdır.

Veriler, yukarıda açıklanan ön işlemler uygulandıktan bir algoritma ile işlenir. Bu aşamada birçok farklı doğal dil işleme algoritması kullanılabilir, en yaygın kullanılan iki algoritma türü ise şu şekildedir:

• Kural Tabanlı Sistem: Bu sistemde dikkatlice tasarlanmış dilbilimsel kurallardan faydalanılmaktadır. Bu sistem doğal dil işleme alanı henüz yeni bir alanken kullanılmaya başlanmıştır ve günümüzde de kullanılmaktadır.
• Makine Öğrenimi Tabanlı Sistem: Makine öğrenimi algoritmalarında istatistiksel yöntemlerden faydalanılmaktadır. Sistemlere veri sağlanır; bu verilerle eğitilen sistemler kimi görevleri yerine getirmeyi öğrenir ve işledikleri veri boyutu arttıkça kullandıkları yöntemleri eldeki veriye göre düzenleyebilirler. Bir başka deyişle doğal dil işleme algoritmaları; makine öğrenimi, derin öğrenme ve nöral ağların bir kombinasyonundan faydalanarak ve tekrarlanan işlem/öğrenme döngüleriyle kendi kurallarını oluşturmakta ve geliştirmektedir.

Teknikler ve Yöntemler

Doğal dil işleme alanında takip edilen iki temel alan sözdizim (İng: "syntax) ve anlambilim (İng: "semantics") alanlarıdır. Sözdizim, sözcüklerin dilbilgisel açıdan anlamlı olmasını sağlayan sıralama; anlambilim ise sözcüklerin kullanım ve anlam açısından incelenmesidir. Doğal dil işleme sistemleri, sözdizimden ve dilbilgisel kurallardan faydalanarak tümcelerden bir dilbilgisel anlam çıkarmakta; anlambilim alanını temel alan çeşitli algoritmalar uygulayarak sözcüklerin anlamı ve tümcelerin yapılarını kavramaktadır. Bu süreçte kullanılan sözdizim ve anlambilim tekniklerini inceleyelim.

Sözdizim Teknikleri

• Tümceyi Öğelerine Ayırma: Bu teknikte tümce dilbigisel yönden analiz edilir. Örneğin "At atladı." tümcesine uygulanan bir doğal dil işleme algoritması, tümceyi öğelerine ayırarak "at" sözcüğünün bir isim, "atladı" sözcüğünün ise bir eylem olduğunu çözümler. Bu yöntem özellikle daha karmaşık görevlerin yerine getirilebilmesi bakımından faydalıdır.
• Sözcük Segmentasyonu: Bu teknik, bir girdinin alınıp içerdiği sözcüklerin çıkarılmasıdır. Örneğin bir kimse el yazısı ile yazılmış bir belgeyi taratıp bu yöntem dahilinde işlerse algoritma, taranan sayfayı inceleyip kelimelerin beyaz boşluklarla birbirinden ayrıldığını tanıyabilir.
• Tümce Ayırma: Bu teknik aracılığıyla büyük metinlerin içerdiği tümce sınırları saptanmaktadır. Örneğin "At atladı. Ben uyandım." tümcesini işleyen bir doğal dil işleme sisteminde kullanılan algoritmalar, tümceleri ikiye bölen noktayı tanıyabilmektedir.
• Morfolojik Segmentasyon: Bu teknikte ise sözcükler hecelerine (İng: "morpheme") ayrılmaktadır. Örneğin bir metinde geçen "kapıdaki" sözcüğü, kullanılan algoritmalar ile "[kapı[da][ki]]" şeklinde hecelerine ayrılarak işlenmektedir. Bu tekniğin faydası, özellikle bilgisayar çevirisi ve konuşma tanıma alanlarında göze çarpmaktadır.
• Stemming (Köke İndirgeme): Bu teknikte yapım eki içeren sözcükler kök hallerine indirgenir. Örneğin "At atladı." tümcesinin verildiği bir algoritma, "atladı." eyleminde kökün "at" olduğunu çözümleyebilmekte; farklı kullanımlarını kavrayabilmektedir. Teknik, "at" sözcüğünün tüm kullanımlarının ve çekimlerinin incelenmesini gerektiren çalışmalarda özellikle faydalıdır.

Anlambilim Teknikleri

• Sözcük Anlam Ayrımları: Bu teknik dahilinde birden fazla anlama gelebilen sözcükler çözümlenir. Örneğin "kalem" sözcüğünü inceleyen bir algoritma, bu sözcüğün hem yazı yazmak için kullanılan bir araç, hem de "benim kalem" bağlamında bir mekân anlamına gelebileceğini çözümleyebilmektedir.
• Varlık Tanıma: Bu teknik belirli kategoriler dahilinde gruplandırılabilen sözcüklerin belirlenmesini konu almaktadır. Örneğin bir algoritma, bir haber metnini tarayabilir ve bir şirkete veya ürüne dair tüm atıfları derleyebilir; metnin anlambilimsel bütünlüğünü göz önünde bulundurarak görece aynı şekilde ifade edilen varlıklar arasında ayrımlara gidebilir. Örneğin "X İskender'de iskender yedim." tümcesini inceleyen bir algoritma, "X İskender" ifadesinin bir yer, "iskender" sözcüğünün ise bir nesne olduğunu ayırt edebilmektedir.
• Doğal Dil Oluşturma: Bu teknik, bir veri tabanından faydalanarak sözcüklerin anlambilimsel değerlendirmesinin yapılmasını ve yeni metinlerin oluşturulmasını içerir. Bu teknikten faydalanan algoritmalar, bir iş raporunun içerdiği belirli sözcük ve sözcük öbeklerini raporda ifade edilen anlam ile eşleştirebilmekte ve otomatik olarak raporu özetleyebilmektedir. Bu tekniğin bir başka kullanımı ise ilgili algoritmanın eğitiminde kullanılan metinler çerçevesinde haber metinleri ve/veya tweet gibi metinlerin otomatik olarak oluşturulmasıdır.

Pexels

Doğal Dil İşlemenin Tarihi ve Gelişimi

Doğal dil işleme alanındaki güncel yaklaşımlarda, örüntülerin incelenmesi ve kullanılması yoluyla bir programın kavrama becerisinin artırılmasının hedeflendiği bir yapay zekâ alanı, yani derin öğrenme temel alınmaktadır. Derin öğrenme modelleri, doğal dil işleme algoritmasının eğitilmesi ve verinin içerdiği korelasyonların tespit edilmesi için oldukça ciddi boyutlarda etiketlenmiş veri gerektirmektedir. Bu veri bankalarının derlenmesi ve bir araya getirilmesi, doğal dil işleme alanının en büyük zorluklarından biridir.

Doğal dil işleme alanında geliştirilen ilk yaklaşımlarda basit makine öğrenimi algoritmaları kullanılmış ve daha kural tabanlı sistemler takip edilmiştir. Bu sistemler yalnızca bir metin içinde belirli sözcük ve tümceciklerin tespit edilmesi; ilgili sözcük ve tümcelerin tespit edilmesi halinde belirli cevapların verilmesi gibi basit düzeyde kalmaktadır. Buna karşın derin öğrenme, doğal dil işleme alanına birçok örneğe (veriye) dayanarak konuşmacının veya yazarın niyet analizini dahi yürütebilen, daha esnek ve sezgisel bir yaklaşım getirmektedir. Bu sistemler ve çocukların dil edinimi arasında kimi benzerlikler de göze çarpmaktadır. Peki bu alan zaman içinde nasıl gelişmiştir?

• 1950'ler: Doğal dil işleme alanının kökleri bu tarihlerde yapılan bir atılıma, Alan Turing'in geliştirdiği Turing Testi'ne dayanmaktadır. Bu testte bir bilgisayarın "akıllı olup olmadığı" anlama ve doğal dil oluşturma kriterleri çerçevesinde değerlendirilmektedir.
• 1950'ler-90'lar: Bu dönemde geliştirilen doğal dil işleme sistemlerinin büyük bir çoğunluğu dilbilimciler tarafından hazırlanmış, bilgisayarların dili nasıl işlediğini aydınlatmayı hedefleyen kuralların kullanıldığı sistemlerdir.
• 90'lar: Bilgisayar alanında yaşanan gelişmelerle beraber tümdengelimci ve dili önceleyen yaklaşımlar yerini daha istatistik tabanlı yaklaşımlara bırakmıştır. Zira artan hesaplama gücü, doğal dil işleme teknolojilerinin daha verimli bir şekilde ilerlemesini sağlamıştır. Bilgisayarlar hızlandığından artık dil kuralları bir dilbilimciye ihtiyaç duyulmaksızın dilbilimsel istatistikler temel alınarak oluşturulabilmektedir. Bu on yıl içinde veri-temelli doğal dil işleme sistemleri popülerlik kazanmış; alan da buna bağlı olarak dilbilim disiplininden taşarak mühendislik temelli yaklaşımları da kapsamaya başlamıştır.
• 2000-2020: Doğal dil işleme ve alanın beraberinde getirdiği teknolojiler bu dönemde üst düzey popülerlik kazanmış; ileri düzey hesaplama becerileri ile birçok gerçek dünya senaryosunda kullanım alanı bulmuştur. Günümüzde, doğal dil işleme yaklaşımlarında klasik dilbilim ve istatistiksel yöntemler bir kombinasyonu temel alınmaktadır.

2023 yılı itibariyle doğal dil işleme alanında yapılan çalışmalarda Doğal Dil Araç Seti (NLTK) (İng: "Natural Language Toolkit"), Gensim ve Intel doğal dil işleme Mimarisi (İng: "Intel natural language processing Architect") olmak üzere üç kaynak yaygın bir şekilde kullanılmaktadır. NLTK, açık kaynaklı bir Python modülüdür ve veri setleri/rehberler de içermektedir. Gensim, konu modelleme ve belge endeksleme amaçlarına uygun olarak hazırlanmış bir Python kütüphanesidir. Intel NLP ise derin öğrenme topolojilerini ve tekniklerini içeren bir başka Python kütüphanesidir.

Sonuç

Doğal dil işleme günümüzde chatbotlar, siber güvenlik, arama motorları ve büyük veri analizi gibi gerçek-dünya kullanımlarının yanında teknoloji ile iletişim kurma şeklimizi değiştirmekte ve gelişiminde büyük bir rol oynamaktadır. Tüm bu faydalar göz önünde bulundurulduğunda doğal dil işlemenin uzunca bir süre gündemimizde kalacağı ve hayatımızı birçok yönden kolaylaştıracağı açık bir gerçektir; zira bireysel olarak ChatGPT gibi sistemlerden faydalanmasak bile doğal dil işleme hayatımızda birçok alanda karşımıza çıkmaktadır. Örneğin internetten satın alacağınız bir ürünün yorumları çeşitli doğal dil işleme algoritmalarıyla işlenmiş, kötü yorumlar elenmiş ve iyi yorumlar tutulmuş olabilir. Tıbbi kayıtlarınız yine benzer algoritmalarla işlenmiş ve doktorunuza yol gösteriyor olabilir veya başvurduğunuz bir müşteri hizmetleri kanalında bir müşteri temsilcisi ile görüşmeden önce farkında bile olmadan bir botla sohbet etmiş olabilirsiniz!