Simülasyonda öğrenilen becerilerin fiziksel dünyaya aktarılması, geniş ölçekte robot öğrenimi için umut verici bir yaklaşım olarak kabul ediliyor. Bununla birlikte, geleneksel simülasyondan gerçeğe yöntemleri, uygun ödül fonksiyonlarını tasarlamak ve simülasyon parametrelerini ayarlamak için kapsamlı manuel çaba gerektirdiği için oldukça zorlu olabiliyor. Bu makalede, sim-gerçek sürecinin birçok yönünü otomatikleştirmek için ChatGPT ‘den yararlanan DrEureka adlı yeni bir yapay zeka destekli sim-gerçek çerçevesini keşfediyoruz. Robot Köpek bu çerçeve sayesinde nasıl dengede durabiliyor?
DrEureka açık kaynak kodludur ve GPT-3 gibi bir modeli otomatik olarak ödül fonksiyonları, etki alanı rastgele dağılımları ve etki alanları arası aktarım için gerekli diğer bileşenleri oluşturmada yönlendirmek için dil istemlerini kullanır. Araştırmacılar, karmaşık hareket görevleri üzerinde yaptıkları deneylerde, DrEureka politikalarının ek ayarlama yapmadan doğrudan simülasyondan gerçek dünyaya aktarıldığını ve insan tarafından tasarlanan konfigürasyonlardan daha iyi performans gösterdiğini tespit etti.
Görev özellikle zorlu görevlerden biri, dört ayaklı bir robotun bir egzersiz topunun üzerinde dengede durması ve yürümesi için eğitilmesini içeriyordu. DrEureka yöntemi, herhangi bir gerçek dünya verisi veya manuel iyileştirme olmadan bu yeni görevi çözmeyi başararak simülasyondan gerçeğe robot öğrenimi için yapay zeka desteğinin potansiyelini ortaya koydu.
DrEureka Metodolojisi
Çerçeve
DrEureka çerçevesi, simülasyondan gerçeğe otomatik aktarım için birkaç temel aşamadan oluşur. İlk olarak, kullanıcılar güvenlik hususlarıyla birlikte hedef görevin doğal bir dil tanımını sağlar. DrEureka daha sonra GPT-3 dil modeliyle etkileşime geçerek girdiye dayalı olarak görev için bir ödül fonksiyonu oluşturur. Bu ödül fonksiyonu simülasyon ortamında bir başlangıç politikasını eğitmek için kullanılır. Bu eğitimden elde edilen bulgular, başarılı ve başarısız politikaların özelliklerini temsil eden bir “ödül farkındalıklı fizik önceliği” oluşturmak için kullanılır.
DrEureka ve GPT-3 daha sonra simülasyon varyasyonları için alan rasgeleleştirme parametrelerini otonom olarak örneklemek üzere bu ön bilgiden yararlanır. Son aşama, etki alanları arası aktarılabilir bir simülasyon politikası üretmek için oluşturulan ödül fonksiyonu ve etki alanı rastgeleleştirmesi ile politikaların yeniden eğitilmesini içerir.
Ödül Tasarımı
DrEureka’nın temel katkılarından biri, otomatik ödül fonksiyonu inşası için dil modellerini kullanmasıdır. Ödülleri tasarlarken araştırmacılar, dejenere ve potansiyel olarak tehlikeli davranışların ortaya çıkmasını önlemek için güvenlik hususlarını sağlamanın önemli olduğunu gördüler. Örneğin, talimatlar aşırı motor torkunu caydırmaya yardımcı oldu. DrEureka’nın ödülleri ayrıca gizli anlamsal analiz gibi teknikler aracılığıyla orijinal görev metninden çıkarılan ilgili kavram terimlerini de içeriyor.
Bu süreç, yüzeysel başarılardan ziyade üst düzey görev tamamlamaya odaklanan ödüllerle sonuçlanır. Kapsamlı testler, DrEureka ödüllerinin simülasyondan gerçeğe aktarım için elle tasarlanmış alternatiflerden daha iyi performans gösterdiğini ortaya koymuştur.
Ödül Bilinçli Etki Alanı Rastgeleleştirmesi
Bir başka yenilik de DrEureka’nın rastgeleleştirme parametresi örneklemesini yönlendirmek için “ödül bilinçli fizik önceliği” kullanmasıdır. Geleneksel olarak, alan rastgeleleştirmesi, önemli fizik özelliklerini gizleyebilecek rastgele pertürbasyonları içerir. DrEureka, simülasyon koşulları ve görev başarısı arasındaki ilişkileri belirlemek için ilk politika bulgularından yararlanır. Bu bilgilendirilmiş öncelik, dil modelinin örnekleme süreci sırasında anlamlı rastgeleleştirmeleri hedeflemesine yardımcı olur.
Yoga Topu ile Yürüyüş Gösterisi
Araştırmacılar DrEureka’nın yeteneklerini göstermek için onu son derece zorlu bir görev olan egzersiz topu üzerinde hareket etme görevine uyguladılar. Geleneksel simülasyondan gerçeğe yaklaşımlar bu dengesizlik ve rijit olmayan arazi ile mücadele etti. Ancak DrEureka, herhangi bir gerçek dünya verisi veya manuel yineleme olmadan, değişken top yüzeyinde dengeli ve istikrarlı bir şekilde yürüyen bir politika keşfetmeyi başardı.
Politika gerçeğe aktarıldığında etkileyici bir sağlamlık sergilemiş, topun yuvarlanma dengesizliğinin etkilerini ustalıkla dengelemiş ve tekme gibi rahatsızlıkları denge kaybı olmadan absorbe etmiştir.
Gerçek Dünya Değerlendirmesi ve Karşılaştırmalar
Gösterilen yoga topu hareketinin ötesinde, araştırmacılar DrEureka’nın dört ayaklı hareket için sistematik gerçek dünya değerlendirmelerini insan tasarımlı temellerle karşılaştırmalı olarak yürüttüler. DrEureka tarafından eğitilen robotların geleneksel insan güdümlü yaklaşımları kullanan robotlardan daha iyi performans göstererek ortalama %34 daha yüksek hızlara ve %20 daha uzun seyahat mesafelerine ulaşması dikkat çekici.
Araştırmacılar, bu performans farkının insan ve yapay zeka öğretim paradigmalarındaki temel farklılıklardan kaynaklandığına inanıyor. Özellikle, dil modelleri bir görevin tüm yönlerini adım adım değil eş zamanlı olarak etkili bir şekilde öğretebilir ve daha bütünsel bir eğitime olanak tanır.
Genel olarak, DrEureka gibi yapay zeka destekli yaklaşımlar, simülasyondan gerçeğe robot öğrenimini geniş ölçekte ilerletmek için heyecan verici yeni bir yön sunmaktadır.
Sıkça Sorulan Sorular
DrEureka nedir?
Robotları gerçek dünyadaki görevleri yerine getirmek üzere eğitmek için Büyük Dil Modellerini (LLM’ler) kullanan açık kaynaklı bir yazılım paketidir. Robotların fiziksel dünyada uygulanmadan önce simüle edilmiş fizik kullanılarak sanal bir ortamda eğitildiği bir “sim-to-reality” yaklaşımı kullanır.
DrEureka nasıl çalışır?
Robotları eğiten kodu oluşturmak için ChatGPT 4 gibi LLM’leri kullanır. Yapay zeka, robotları sanal alanda eğitmek için bir ödül/ceza sistemi oluşturan kod yazar. Sürtünme, kütle, sönümleme ve ağırlık merkezi gibi değişkenleri rastgele ayarlayarak parametreler oluşturabilir. Yapay zeka, her simülasyondan sonra robotun performansını değerlendirir ve iyileştirmeler önerir.
GPT’nin DrEureka’daki rolü nedir?
(Generative Pre-trained Transformer) DrEureka’da çok önemli bir rol oynayan bir LLM’dir. Robotları eğitmek ve performanslarını optimize etmek için kod üretmeye yardımcı olur. GPT, robotların gerçek dünyada uygun şekilde davranmasını sağlamak için ödül fonksiyonları, alan rastgeleleştirme parametreleri ve güvenlik fonksiyonları oluşturabilir.
DrEureka insan eğitim yöntemleriyle nasıl karşılaştırılır?
Gerçek dünyadaki görevlerde insan tarafından eğitilen robotlardan daha iyi performans göstermiştir. DrEureka’nın yapay zekanın her şeyi aynı anda etkili bir şekilde öğretebildiği öğretim tarzı, ona insanlar tarafından kullanılan müfredat tarzı öğretim yaklaşımına göre bir avantaj sağlamaktadır. DrEureka, karışık arazilerde ilerleme hızında %34 ve kat edilen mesafede %20’lik bir avantaj elde etti.
DrEureka daha da gelişebilir mi?
Yaratıcıları, yalnızca propriyosepsiyon verilerine dayanmak yerine yapay zekaya gerçek dünyadan geri bildirim sağlamanın simülasyondan gerçekliğe eğitimi geliştirebileceğine inanıyor. Yapay zeka bir video akışı aracılığıyla neyin yanlış gittiğini görebilseydi, talimatlarını daha etkili bir şekilde iyileştirebilirdi. Bu da daha iyi performans ve eğitim sonuçlarına yol açabilir.
