ChatGPT, Özgeçmiş İncelerken Engellilere Karşı Önyargılı Davranıyor!

Washington Üniversitesi yüksek lisans öğrencisi Kate Glazko, geçen yıl araştırma stajları ararken işverenlerin özgeçmişleri özetlemek ve adayları sıralamak için ChatGPT ve diğer yapay zeka araçlarını kullandıklarını ve bunları internette paylaştıklarını fark etti.

İşe alımda otomatik tarama onlarca yıldır yaygın olarak kullanılıyor. Washington Üniversitesi Paul G. Allen Bilgisayar Bilimi ve Mühendisliği Okulu'nda doktora öğrencisi olan Glazko ise üretken yapay zekaların gerçek dünyadaki önyargıları, örneğin engellilere karşı olan önyargıları, nasıl çoğaltıp güçlendirebileceğini araştırıyor.

Glazko, "Bu tarz bir sistemde engelli olduğu ima edilen özgeçmişler nasıl sıralanırdı?" sorusunun cevabını merak ettiğini ve araştırdığını belirtiyor. Washington Üniversitesi araştırmacılarından oluşan ekip, bulgularını 5 Haziran 2024'te Rio de Janeiro'da düzenlenen ACM Adalet, Hesap Verebilirlik ve Şeffaflık Konferansı'nda sundu.^[1]

Araştırmacılar, ChatGPT'nin "Tom Wilson Engellilik Liderlik Ödülü" gibi engellilikle ilgili onur ödülü ve kimlik bilgilerine sahip özgeçmişleri, diğer eş seviyedeki özgeçmişlerden her zaman daha düşük sıralara koyduğunu ortaya çıkardı. aynı özgeçmişlerin bu onur ve referanslar olmadan hazırlanmış hallerine göre tutarlı bir şekilde daha düşük sıraladığını ortaya koydu. Sıralamanın nedeni sorulduğunda ise yapay zeka, otizm liderlik ödülü olan bir özgeçmişin "liderlik rollerinin daha az ön planda olduğunu" belirtti. Bu da yapay zekanın otizmli insanların iyi bir lider olamayacağına yönelik bir stereotipten etkilendiğini gösteriyor.

Ancak araştırmacılar aracı engellilere ayrımcılık yapmaması yönünde yazılı talimatlarla uyardığında, bir engellilik durumu hariç yapay zekanın önyargısının azaldığı görüldü. Sağırlık, körlük, serebral palsi, otizm ve "genel engellilik" durumunda önyargıda iyileşme görülse de engellilikten bahsetmeyen 3 özgeçmiş yine de daha yüksek sıralarda yer aldı. Çalışmanın baş yazarı Glazko, şöyle anlatıyor:

Yapay zeka ile özgeçmiş sıralama yaygınlaşmaya başlıyor, ancak bunun güvenli ve etkili bir yöntem olup olmadığı konusunda çok fazla araştırma yok. İş arayan engelliler, bir özgeçmiş gönderdiklerinde özgeçmişe engelliliğe yönelik referansların eklenip eklenmeyeceği konusunda hep şüphe duyuyor. Sanırım engelli insanlar bunu incelemeyi yapanlar insan olduğunda bile düşünmek durumunda kalıyor.

Araştırmacılar, çalışmanın yazarlarından birinin halka açık yaklaşık 10 sayfalık özgeçmişini kullandı. Ekip daha sonra her biri farklı bir engelliliği ima eden altı adet geliştirilmiş özgeçmiş oluşturdu. Daha sonra her bir özgeçmişe engellilikle ilgili bir burs bir ödül, bir çeşitlilik-eşitlik-kapsayıcılık (DEI) paneli üyeliği ve bir adet öğrenci organizasyonu üyeliği olmak üzere dört referans ekledi.

Bu geliştirilmiş özgeçmişler, ABD merkezli büyük bir yazılım şirketindeki gerçek bir "öğrenci araştırmacı" iş ilanı temel alınarak ChatGPT'nin GPT-4 modelini ile sıralandı. Araştırmacılar, her bir karşılaştırmayı 10 kez tekrar etti. Engellilik referansı bulunması dışında tamamen aynı olan özgeçmişler, 60 denemenin sadece dörtte birinde birinci sırayaydı. Makalenin kıdemli yazarı profesör Jennifer Mankoff şöyle anlatıyor:

Adil bir dünyada, geliştirilmiş özgeçmişin her seferinde ilk sırada yer alması gerekirdi. Örneğin, liderlik özellikleri ile tanınmış birinin, aynı geçmişe sahip olmayan birinden geride sıralanması gereken bir iş düşünemiyorum.

Araştırmacılar GPT-4'ten sıralamaları açıklamasını istediğinde, yanıtları açık ve örtük biçimlerde engelli ayrımcılığı sergiledi. Örneğin, depresyonu olan bir adayın "Çeşitlilik-eşitlik-kapsayıcılık kavramlarına ve kişisel zorluklara daha çok odaklandığını" ve bunun onu "rolün temel teknik ve araştırma odaklı yönlerinden uzaklaştırdığını" belirtti. Glazko, şöyle anlatıyor:

GPT'nin bazı açıklamaları, kişinin engelli olmasına dayanarak tüm özgeçmişini çarpıtıyordu. Çeşitlilik-eşitlik-kapsayıcılık veya engellilik kavramları ile ilgili olmanın özgeçmişin diğer kısımlarından potansiyel olarak uzaklaşmak anlamına geldiğini iddia ediyordu. Örneğin zorluklar kavramından hiç bahsedilmemesine rağmen, zorluklar kavramını depresyon özgeçmiş karşılaştırmasına dahil etti. Yani analizde bazı stereotiplerin ortaya çıktığını görebilirdiniz.

Bu noktadan sonra, araştırmacılar sistemin daha az önyargılı olması için eğitilip eğitilemeyeceğiyle test etmeye karar verdi. GPT-4'ü yazılı talimatlarla (kod gerektirmeden) özelleştirmelerine olanak tanıyan "GPTs Editor" aracına başvuran ekip, sohbet robotuna engellilere yönelik önyargılardan kaçınması ve engelli adaleti ve çeşitlilik-eşitlik-kapsayıcılık ilkeleriyle çalışması talimatını verdiler.

Deneyi bu kez yeniden eğitilmiş sohbet botu ile tekrarladılar. Yenilenmiş sistem, geliştirilmiş özgeçmişleri 60 denemenin 37'sinde daha yüksek bir sıraya koydu. Ancak otizm ve depresyon gibi durumlar için iyileşme minimal seviyede veya sıfırdı. Otizmin belirtildiği özgeçmiş 10 denemenin sadece 3'ünde ilk sırada yer alırken ve depresyonun belirtildiği özgeçmiş, önceki sonuçlarla aynı olacak şekilde sadece iki kez birinci sırada yer aldı. Glazko, şöyle söylüyor:

İnsanların gerçek dünyadaki görevleri yaptırmak için yapay zeka kullanırken sistemin önyargılarının olduğunun farkında olması gerekiyor. Aksi takdirde, ChatGPT kullanan bir işe alım görevlisi bu düzeltmeleri yapamaz veya kullandığı talimatlarla bile önyargının devam edebileceğinin farkında olamaz.

Araştırmacılar, ourability.com ve inclusively.com gibi bazı kuruluşların, işe alımlarda yapay zeka kullanılsa da kullanılmasa da önyargılarla karşılaşan engellilerin karşılaştığı sonuçları iyileştirmek için çalıştığını belirtiyor. Yazarlar ayrıca yapay zekanın önyargılarını belgelemek ve gidermek için daha fazla araştırmaya ihtiyaç olduğunu vurguluyorlar. Bunlar arasında Google'ın yapay zekası Gemini ve Meta'nın yapay zekası Llama gibi diğer sistemlerin test edilmesi; diğer engellilerin de araştırmaya dahil edilmesi, sistemin engellilere yönelik önyargılarının cinsiyet ve ırk gibi diğer özelliklerle nasıl kesiştiğinin incelenmesi, daha fazla özelleştirmenin önyargıları daha tutarlı bir şekilde azaltıp azaltamayacağının araştırılması ve GPT-4'ün temel sürümünün daha az önyargılı hale getirilip getirilemeyeceğinin görülmesi yer alıyor. Mankoff şöyle bitiriyor:

Bu önyargıları incelememiz ve belgelememiz çok önemli. Bu çalışmadan çok şey öğrendik ve umarım teknolojinin eşit ve adil bir şekilde kullanıldığından emin olmak için sadece engellilikle ilgili değil, diğer azınlık kimliklerle ilgili daha geniş bir tartışmaya katkıda bulunacağız.