Bu robotlar nasıl insan gibi hareket ediyor

Robotik alanı hızla gelişiyor. Bazı firmaların robotlarının ortalıkta koşup zıpladığını görüyoruz peki bu nasıl mümkün olaibliyor? Basitçe açıklamak gerekirse matematik sayesinde, hadi ayrıntılarına bakalım.

1- MPC (model predictive control)

MPC sistemleri bir önceki jenerasyonda reinforcement learning geliştirilmeden önce kullanılan yöntemdi. Youtube da dans eden boston dynamics atlas robot bu yöntem ile haraket ediyor. MPC genel bir yöntemdir ve bir çok alanda kullanılır. Elinizde ileriyi tahmin edebilen matematiksel bir model vardır(basit bir fizik simulasyonu gibi). Bu modeli kullanarak ileriyi tahmin edip işlemin başarı ile ilerleyip ilerlemediğini anlayabilirsiniz. Elinizde robotun motorlarına uygulayabileceğiniz belirli aksiyonlar vardır. Örneğin diz motoru ileri gitsin gibi. Bu eylemin sonucunu matematksel model ile önceden bilebilirsiniz. Mesela motora -10 ile 10 arasında tork uygulayabilirsiniz. Bunun hangisinin en verimli olduğunu bulmak için teker teker denemek gerekir ama -10 ile 10 arasında sonsuz değer var, bu sebeple olası değerleri belirli bir çözünürlükte hesaplayabiliriz. Örneğin 0.1 çözünürlüğünde hesaplarsak elimizde anlık olarak diz motoruna uygulayabileceğimiz 200 tane olası değer olacaktır. bunu 0.1 saniyede bir uygulayabileceğimizi düşünürsek ve robotun 10 saniye sonraki durumuna kadar analiz ettiğimizi düşünürsek diz motoru için toplam 200 * 100 = 20000 farklı aksiyon durumu vardır. Robotta 12 motor olduğunu düşünürsek 20000 * 12 = 240000 farklı aksiyon durumu ortaya çıkar. Tabi bakacağımız zaman aralığı veya çözünürlükle oynayarak bu hesap yükünü değiştirebiliriz. Eğer çözünürlük düşerse hareket kalitesi düşer ve baktığımız zaman aralığı düşerse uzun vadeli hareketleri yapamaz. Örneğin baktığımız ufuk 3 saniyeyse ve robot koşuyorsa önündeki engeli görebildiği 3 saniyede duramayabilir. Matematiksel modele bu aksiyonları vererek aksiyon sonucunda tüm olası durumları değerlendirdiğimiz zaman aralığı boyunca analiz edip bizim için en iyi aksiyonu seçip uygulayabiliriz. Bu sonuçların arasından en iyilerini seçmek için hareketleri puanlayan politikalar kullanabiliriz. Örneğin ayakta duruyormu anlamak için gövde ile yer çekimi yön vektörlerinin dot product'ını alan bir foksiyon yazabiliriz. veya hızı olaması gereken hızda mı diye kontrol eden ve puanlayan başka bir fonksiyon yazabiliriz. tüm poltika fonksiyonlarının değerleri toplamı bize o haretin istediğimiz harekete ne kadar uygun olduğunu verecektir. bu işlemi her 0.1 saniyede uygulayıp robotu yürütebilriz.

2- Reinforcement learning

Reinforcement learning yani RL de mpc gibi politikalar ile çalışır. ama bu işi sadece eğitim esnasında yapar. Basitçe yapılan işlem, simulasyonda hareketler verip politikaları en çok memnun eden aksiyonları bulmak ve gerçek robotta doğrudan uygulamaktır. PPO (proximal policy optimization) ve AMP (Adversarial Motion Priors) gibi yöntemler kullanılır? Robot üzerinde daha az hesaplama olacağı için kullanım esnasında daha verimlidir ama eğitimi zordur. Eğitim esnasında politikalar daha esnek ve fizik motoru daha gerçekçi tutulur ki daha iyi hareket edebilsin ve daha çeşitli koşullara uyum sağlayabilsin. MPC için yazılan verimli ve hedefe yönelik fizik motorları olan matematiksel modeller olmadığı için daha kolay geliştirilebilir çünkü genellikle genel amaçlı ve yüksek kaliteli ama yavaş fizik motorları ile eğitilir. Nvidia Isaaclab yazılımı şu an bu alanda popüler bir yazılımı.

3- hibrit

MPC sistemi aslında bir fonksiyondur. bu fonksiyonu performans optimizasyonu için bir MLP ağına aktarıp kullanabiliriz.