Cilt kanserini tespit etmek amacıyla geliştirilen bir yapay zeka modeli üzerine çalışan araştırmacılar, ilk aşamada modelin son derece başarılı olduğunu gözlemlediler. Ancak daha ileri analizlerde modelin beklenmedik bir hata yaptığını fark ettiler: Model, kötü huylu dokuları belirlerken, tıbbi görüntülemelerde yer alan cetvelleri "ayırt edici özellik" olarak değerlendiriyordu.[1] Keza, modeli eğitmek için kullanılan veri setinde kötü huylu dokuları gösteren görüntülerin çoğu cetvel içermekteydi. Dolayısıyla model, eğitiminde kullanılan veri setinden yola çıkarak, cetvel içeren tüm görüntüleri kötü huylu olarak sınıflandırma eğilimi göstermekteydi.
Burada sorun, yapay zekanın akıl yürütme mekanizmasının doğasında yatmaktadır. İnsan bir patolog, böyle bir yanlış çıkarımda bulunmazdı. Bu tür hatalı çıkarımlar, yapay zeka sistemlerinde yaygın olarak görülmektedir. Örneğin, insan kaynakları departmanlarında işe alımda kullanılan algoritmalar, genelde erkek adayları kadın adaylara göre daha fazla tercih etme eğilimi göstermektedir.[2] Benzer şekilde, sağlık alanında kullanılan yapay zeka sistemleri, tıbbi hizmetlerde cinsel, ırksal ve etnik eşitsizlikleri pekiştirebilmektedir.[3] Çünkü çoğu zaman bu sistemler, erkekleri kadınlara ya da bir grubu başka bir gruba karşı kayıran, önceleyen veriler kullanılarak bilerek veya bilmeksizin eğitilmektedir.