歡迎關注“新浪科技”的微信訂閱號：techsina 

　　文/明敏

　　來源：量子位（ID:QbitAI)

　　現在，讓機械狗自己打滾一個小時，它就能學會走路了！

　　步態看著相當有模有樣：

　　還能扛住大棍子的一通狂懟：

　　就算是摔了個四仰八叉，翻個身自己又站起來了：

　　如此看來，訓機械狗和普通訓狗真是要沒什么兩樣了啊。

　　這就是UC伯克利大學帶來的最新成果，讓機器人直接在實際環境中訓練學習，不再依賴于模擬器。

　　應用這一方法，研究人員在短時間內訓練出了4個機器人。

　　比如開頭看到的1小時學會走路的機械狗；

　　還有2個機械臂，在8-10小時實戰抓取后，表現接近于人類水平；

　　以及一個擁有計算機視覺的小機器人，在自己摸索2小時后，能絲滑地滾動到指定位置。

　　該研究由Pieter Abbeel等人提出，Pieter Abbeel是吳恩達的第一位博士生，前不久他剛剛獲得2021 ACM 計算獎（ACM Prize in Computing）。

　　目前，該方法的所有軟件基礎架構已經開源。

　　一個叫做“空想家”的算法

　　本文方法的pipeline大致可分為4步：

　　第一步，是先把機器人放在真實環境里，收集數據。

　　第二步，把這些數據傳輸到Replay Buffer。這一步驟就是利用歷史數據進行訓練、“總結經驗”，高效利用收集到的樣本。

　　第三步，World Model會對已有經驗進行學習，然后“腦補”出策略。

　　第四步，再用演員評論家（Actor Critic）算法來提升策略梯度法的性能。

　　然后循環往復，將已經提煉出的辦法再使用到機器人身上，最后達到一種“自己摸索學習”的感覺。

　　具體來看，這里的核心環節是World Model。

　　World Models是2018年由DAVID HA等人提出的一種快速無監督學習方式，獲得了NIPS 2018的Oral Presentation。

　　它的核心理念是認為人類是基于已有經驗，形成了一個心理世界模型，我們所做的決定和行動都是基于這個內部模型。

　　比如人類在打棒球時，做出反應的速度遠比視覺信息傳達到大腦中的快，那么在這種情況下還能正確回球的原因，就是因為大腦已經做出了本能的預測。

　　此前，基于World Model這種“腦補”的學習方法，谷歌提出了Dreamer這種可擴展的強化學習方法。

　　這一次提出的方法是在此基礎上，叫做DayDreamer。

　?。菜瓶梢越凶隹障爰?？

　　具體來看，World Model就是一個智能體模型。

　　它包括一個視覺感知組件，能將看到的圖像壓縮成一個低維的表征向量作為模型輸入。

　　同時還有一個記憶組件，可以基于歷史信息，對未來的表征向量做出預測。

　　最后，還包括一個決策組件，它能基于視覺感知組件、決策組件的表征向量，決定采取怎樣的動作。

　　現在，我們回到本次UC伯克利學者提出的方法。

　　不難發現，其中World Model Learning部分的邏輯就是一個經驗積累的過程，Behavior Learning部分則是一個動作輸出的過程。

　　本篇論文方法的提出，主要解決了機器人訓練中兩方面的問題：

　　效率和準確率。

　　一般來說，訓練機器人的常規方法是強化學習，通過反復實驗來調整機器人的運作。

　　不過這種方法往往需要非常大量的測試，才能達到很好的效果。

　　不僅效率低下，而且訓練需要付出的成本也不低。

　　后來，不少人提出在模擬器中對機器人進行訓練，可以很好增效降本。

　　但是本文作者認為，模擬器訓練方法在準確性方面的表現還是不夠好，只有真實的環境才能讓機器人達到最好的效果。

　　從結果來看，在訓練機器狗的過程中，只花10分鐘時間，機器狗就能適應自己的行為了。

　　和SAC方法對比來看，效果有明顯提升。

　　在機械臂訓練過程中，這一新方法還克服了視覺定位和稀疏獎勵的挑戰，幾小時內的訓練成果明顯優于其他方法。

　　研究團隊

　　值得一提的是，本次帶來新成果的研究團隊成員，也非常令人矚目。

　　其中，Pieter Abbeel是吳恩達的開山大弟子。

　　他現在是UC伯克利電氣工程和計算機科學教授，伯克利機器人學習實驗室主任，伯克利AI研究院共同主任，曾加入過OpenAI。

　　前不久，他還獲得了2021 ACM 計算獎（ACM Prize in Computing），以表彰其在機器人學習方面的貢獻。

　　與此同時，他還是AI機器人公司Covariant的聯合創始人。

　　另一位Ken Goldberg，也是AI領域的頂級專家。

　　他現在是UC伯克利工程教授，研究方向為強化學習、人機交互等。

　　2005年，他被評選為IEEE院士。

　　與此同時，Goldberg還是一位藝術家，是UC伯克利藝術、科技文化研討會的奠基人。

　　此外，Philipp Wu、Alejandro Escontrela、Danijar Hafner三人為共同一作。

　　其中Philipp Wu還只是UC伯克利一位大四的學生。

　　One More Thing

　　在觀看機械狗訓練的視頻時，我們發現研究人員使用的Unitree機械狗，

　　這個品牌來自中國企業宇樹科技，之前登上過春晚的機器小牛，也來自它家。

　　而且，最近宇樹機器狗集體進行Go1測試的視頻曝光，還在國外火了一波。

　　論文地址：

　　https：//danijar.com/project/daydreamer/

　　參考鏈接：https：//worldmodels.github.io/

（聲明：本文僅代表作者觀點，不代表新浪網立場。）