Medikal Yapay Zeka Araçları Hızla Gelişiyor, Peki Düzgünce Test Ediliyorlar mı?

Yapay zeka algoritmaları, her geçen günle birlikte sağlık sektörünün her alanına girmeye devam ediyor. Meme kanseri görüntülemelerinde, klinik notlar alınmasında, sağlık sigortalarının yönetiminde ve hatta "sanal hemşireler" yaratmakta veya doktor-hasta diyalogları oluşturmakta kullanılıyorlar. Bazı şirketler bu araçların tıp sektörünü daha verimli hale getireceğini, doktorlar ve diğer sağlık çalışanlarının yüklerini hafifleteceğini iddia ediyor.^[1] Ancak bazı uzmanlar bu araçların şirketlerin iddia ettiği kadar düzgün çalıştığından şüpheli.

İnsanlara benzer şekilde metin üretebilmek üzere muazzam büyüklükte veriyle eğitilen büyük dil modelleri (LLM'ler) gibi yapay zeka araçları, ancak aldıkları eğitim kadar kaliteli sonuçlar verebilirler. Oysa tıbbi alanda LLM'lerin yetkinliğini ölçmek için kullanılan metrikler tıp fakültelerinin sınavlarına dayanmaktadır. Hatta sağlık sektöründe kullanılan yapay zeka araçlarını değerlendiren bir çalışma, bu modellerin sadece %5'inin gerçek hastalardan elde edilen verilerle eğitildiğini göstermektedir.^[2] Dahası, birçok çalışma dil modellerini test etmek için tıbbi bilgilerle ilgili sorular sormakla yetinmiştir. Çok az çalışma modellerin gerçek hayatta şimdiden üstlendiği reçete yazma, konuşma özetleme veya hastalarla konuşma gibi görevlerin ne kadar iyi yapıldığını incelemiştir.

New England Journal of Medicine AI dergisinin şubat baskısında, bilgisayar bilimci Deborah Raji ve meslektaşları mevcut ölçüm metriklerinin gerekli şeylere odaklanmadığını yazıyor.^[3] Bu testler gerçekten klinik yeterliliği ölçmüyor ve gerçek dünyanın karmaşıklığının gerektirdiği incelikli kararlar alma yeteneğini dikkate almıyor. Ayrıca esnek bir skalada uygulanmaları mümkün değil ve farklı klinik görevleri değerlendirmekte kullanılamıyorlar. Ek olarak bu testler sadece doktorların bilgisine dayandığından hemşirelerin veya diğer sağlık personelinin bilgilerini yansıtmıyor. California Üniversitesi'nde yapay zeka denetimi ve değerlendirmesi üzerine çalışan Raji şunları söylüyor:

İnsanların bu sistemlere dair beklentileri ve iyimserliği bu ölçüm metriklerine dayanıyor. Hatta bu iyimserlik şimdiden sistemlerin gerçek dünyaya entegrasyonuna başlanmasını sağladı. İnsanlar resmen bu sistemleri gerçek hastaların üstüne atabilmek için uğraşıyorlar!

Raji ve meslektaşları büyük dil modellerinin karmaşık ve birbirinden farklı klinik görevleri nasıl yürüttüğünü ölçebilecek uygun metrikler geliştirmemiz gerektiğini düşünüyor. Raji, Science News ile yaptığı röportajda yapay zeka testlerini, bu konudaki endişeleri ve daha gerçekçi değerlendirmeler yapabilmek için gerekenleri anlatıyor. Gelin bu röportajdan öğrendiklerimize bir bakalım.

Mevcut Ölçümler Neden Yetersiz?

Raji, bu testlerin yetersiz olduğunu çünkü insanların modellere yaptırmak istediği görevleri değil başka şeyleri ölçtüklerini söylüyor. Bu nedenle bu alan şu anda olduğu gibi heves ve heyecanla değil ayakları yere basarak ilerletilmeli.

Bu, yeni bir problem olmadığı gibi sağlık alanına özgü de değil. Makine öğrenmesinin ortaya çıkışından beri, bazı ölçümleri bir araya getirerek bunların zeka dediğimiz şeyi veya ilgili bir alandaki yeterliliği temsil edebileceğini umuyoruz. Ama test adını verdiğimiz bu veri setleri üstünden iddialarda bulunurken çok dikkatli olmak gerekiyor.

Sistemleri gerçekte olduklarından ne kadar farklı (bu durumda muhtemelen olduklarından ne kadar iyi) zannediyorsak, hatalarını anlamamız o kadar zor olacaktır. Bu sistemler mükemmellikten uzaktır. Belirli popülasyonlarda hata verebildikleri gibi bazen de bir görevin karmaşıklığını anlayamadıklarından ciddi hatalara yol açarlar. Bu gibi ölçüm önyargıları, yani bu sistemin gerçek hayata geçirilmeye hazır olup olmadığını göstermeyen testlerden yaptığımız çıkarımlar, muazzam bir gözünde büyütme durumuna yol açıyor.

Sağlık Sisteminde Kullanılacak Yapay Zekalar İçin Daha Uygun Testleri Nasıl Yaratacağız?

İzlenebilecek bir yol, bu sektörde iş akışının nasıl olduğunu anlatacak uzmanlarla çalışmak ve gerçekçi, doğal verilerden oluşan veri setleriyle modelin ön denemelerini yaparak modelin farklı tipte ve geniş alandaki girdilere vereceği farklı çıktıları gözlemlemektir. Başka bir yol ise makalenin ortak yazarı Roxana Daneshjou'nun önceki çalışmalarında uyguladığı, siber güvenlik alanından duymuş olabileceğiniz "kırmızı takım" (İng: "red-teaming") tekniğidir. Bu teknikte bir grup insan modelin açıklarını bulmak için agresif bir test süreci uygular. İnsanların gerçek hayatta sistemlerle nasıl etkileşime girdiğini yansıtan gerçekçi girdileri test edebilmek için farklı yaklaşımlar kullanılır.

Bir başka yöntem de gerçek hastanelerden bilgi toplamaktır. Mesela ellerindeki verileri nasıl kullandıklarını veya sistemi iş akışlarına nasıl entegre ettiklerini öğrenebiliriz. Ayrıca hasta bilgilerini anonim olacak şekilde alabilir veya bu modellere anonim girdiler vererek yeni testler veya değerlendirme ölçümlerinde kullanılabilecek bilgiler edinebiliriz.

Ölçümlerimizden yola çıkan yorumların bir şeyi gerçekten ölçmesi için nasıl bir değerlendirme yapılacağına dair psikoloji gibi farklı alanlardan ödünç alınan başka yaklaşımlar da mevcuttur. Elimizdeki testlerin ne kadarının insan gözlemlerinin gerçekçiliğine ve ne kadarının bu sistemler gerçekten kurulduğunda yaşanacak zorluk veya kolaylıklarına dayandığı önemli bir konudur.

Testler Ne Kadar Özelleşmiş Olmalı?

Bir modelin cevaplama veya bilgileri hatırlama yeteneğini ölçen bir testle doktor notlarını özetleme veya yüklenen verileri inceleyip bunlara göre cevap verme yeteneğin ölçen bir test birbirinden çok farklı olmalıdır. Raji de şu anda görev tanımındaki böylesi bir inceliği yansıtabilmek için çalışıyor. Elbette herkesin kendine özel bir test sistemi olması gerekmiyor ama belirli bir göreve dair testlerimiz de dört beş şıktan birini seçmeye dayalı bir test kadar basit olmamalı. Neticede, gerçek doktorlar için bile bu çoktan seçmeli sorular meslekteki gerçek performansı ölçmekte o kadar da iyi değil.

Uygun Testleri Oluşturabilmek İçin Neler Yapılabilir?

Raji, ilk olarak araştırmacılara bir çağrıda bulunuyor: Sadece test sistemleri oluşturmaya değil, aynı zamanda geniş ölçekte gerçek dünyaya dayanan ve bu sistemler hayata geçtiğinde neler yapabileceklerini gerçek hatlarıyla tanımlayan değerlendirmelerde bulunmaya kafa yorulmalı. Şu anda bu ciddi değerlendirmeler geri plana atılıyor veya çok sonradan akla geliyor. Raji ve ekibi ise bu alandaki test ve değerlendirme ölçümlerinin metodolojisine daha çok dikkat edilmesi gerektiğini düşünüyor.

İkinci sırada kurumlardan bu konuda şeffaflık talep etmek var. Örneğin hastanelerin klinik çalışmalarda kullandıkları tüm yapay zeka araçlarını açıkça belirtmesi talep edilebilir. Böylece kurum düzeyinde bakarak insanların yapay zeka sistemlerini tam olarak ne için kullandığını daha iyi anlayabiliriz. Hastaneler ve diğer kurumlar yapay zeka araçlarını entegre ettikleri iş akışları hakkında bilgi vermeyi kabul ederse bu daha sağlıklı değerlendirmeler yapabilmemize yardımcı olacaktır.

Ticari düzeyde ise şirketlerin modellerini nasıl değerlendirdiklerini, testlerinin neleri ölçtüğünü ve nelere dayandığını açıkça belirtmesi ellerindeki modelin tam olarak ne yapabileceğini gerçekçi bir şekilde anlamamız için çok önemlidir.

Raji'nin Yapay Zeka Alanında Çalışan İnsanlara Tavsiyeleri Neler?

Yapay zeka alanında çalışan insanlar olarak odaklandığımız veya performansımızı ölçtüğüne güvendiğimiz değerlendirme ve testleri derinden sorgulamalıyız. En kolay ulaşabileceğimiz test metriğini kullanmak elbette çekici gelebilir, tıbbi bir model için eldeki en geniş veri seti elbette tıp sınavları olacaktır. Hatta bu set modelin yapmasını umduğumuz görevlere dair hiçbir şeyi ölçmese bile rahatlıkla indirebilir, testlerimizi kolaylıkla uygulayabiliriz!

Buna karşın Raji, meslektaşlarını modellerin becerilerini, yapabileceklerini umduğumuz görevleri ve aslında yapabildiklerini gerçekçi şekilde yansıtabilecek geçerli değerlendirmeler yapmaya çaba göstermeye davet ediyor.