Bir canlı, bir davranış veya bir fikir olsun hayatta kalamadığı sürece bir önemi var mı? Bir canlı türünün hayatta kalması, bir davranışın doğru kabul edilmesi, bir fikrin akla yatkın bulunması popülasyon içerisinde oran olarak sürekli düşük kalıyorsa yok olma riski ile karşı karşıya kalıyor. "doğru", "başarılı" ve "güzel" dediklerimiz bu seçilimden kurtulup hayatta kalmış olanlar. Bir insan nasıl olmalı? Bir balık nasıl olmalı? Bir gezegen nasıl olmalı? Bir oksijen atomu nasıl olmalı? Evrendeki fizik kuralları nasıl olmalı? Bunun gibi bir çok soru sorulabilir ama gerçeklikten arındırılmış objektif bir cevap vermek mümkün değil ki.

Biz zekamız ile bu temel seçilim mekanizması üzerine soyut katmanlar eklemiş olsak da değişen çok bir şey yok. Haşerelere karşı evi ilaçlamanın doğru, iki ayak üstünde yürüyebilmenin başarı, dağların şeklinin güzel olup olmadığı konusunda seçim yapıp bir görüş elbette belirtebilirsiniz. Ama popülasyon içerisinde yayılamazsa yok olma riski ile karşı karşıya.

Aslında yapay zekâların hepsini insan verisiyle eğitmiyoruz. Fakat birçok problemde insan verisi süreci ciddi şekilde hızlandırıyor. Bunun en büyük sebebi modelin ürettiği çıktıyı değerlendirebilecek bir ödül fonksiyonu yazmanın çoğu zaman mümkün olmaması. Eğer modelin verdiği cevabı matematiksel bir işlem gibi kesin biçimde test edebilen bir algoritma yazabilseydik o zaman insan verisine hiç ihtiyaç duymadan da model eğitebilirdik. Örneğin Satranç ve Go oyunu için böyle bir fonksiyon yazabildiğimiz için kendi kendine oynayarak öğrenen sistemler geliştirebildik. Bu şekilde eğitilen modeller insan seviyesini bile aşabiliyor. Fakat doğal dil gibi alanlarda bunu yapmak hiç kolay değil. Çünkü bir cevabın (rastgele kelimelerden bile oluşsa) “iyi” ya da “kötü” olduğunu net olarak belirleyebilecek genel bir fonksiyon yazmak pek mümkün değil. Bir cevabın kalitesi doğruluk, bağlam, anlam, stil gibi birçok farklı faktöre bağlı ve bazen öznel oluyor. Bu yüzden dil modellerini eğitirken insan üretimi veriler çok değerli bir başlangıç noktası sağlıyor ve öğrenme sürecini ciddi şekilde hızlandırıyor. Süreçte kullanılan bazı otonom değerlendirme teknikleri mevcut olsa da dediğim gibi her türlü çıktıyı değerlendirebilen genel bir ödül fonksiyonu yok.

Robotik tarafında ise doğaya biraz daha benzeyen yöntemler zaten kullanılıyor. Örneğin birçok robotu gerçek dünyaya benzeyen fizik simülasyonlarında eğitiyoruz. Bu simülasyonlarda robotlar milyonlarca deneme yaparak hareket etmeyi veya bir görevi yerine getirmeyi öğrenebiliyor. Eğitim tamamlandıktan sonra elde edilen model gerçek robota aktarılıyor. Buna sim-to-real yaklaşımı deniyor ve güncel robotik araştırmalarında oldukça yaygın. Doğada milyarlarca organizma ve milyonlarca yıl süren bir süreç olan biyolojik evrimi robotlarla gerçek dünyada yapmaya çalışmak teorik olarak mümkün olsa bile zaman, enerji ve maliyet açısından hiç pratik değil. Bu yüzden şu anda çoğu araştırma daha çok simülasyon ortamlarında hızlandırılmış öğrenme süreçleri kurmaya yönelmiş durumda.