讓機器狗學完真狗子的運動數(shù)據(jù),真有二哈那感覺了!
【資料圖】
它輕松跨個欄,后面“主人”差點沒跟上:
鉆個“狗洞”倒是輕車熟路:
還能兩只狗一起撒歡兒,它追、它逃……
這就是鵝廠機器狗的最新進展。
利用預(yù)訓練模型喂給機器狗真狗子的運動數(shù)據(jù)、并通過強化學習,機器狗Max不僅在行為上更靈動,而且還能根據(jù)已經(jīng)掌握的技能“舉一反三”,去適應(yīng)更加復(fù)雜的環(huán)境。
總結(jié)來說,就是里里外外都“更狗”了一些。
有策略地追逐撒歡兒
這次機器狗學習的新技能里,最強的一項還是玩游戲。
機器狗不僅能遵守規(guī)則,還能自己想出策略贏比賽,可能比真狗子還要聰明些。
具體來看,這是一個障礙追逐比賽,受到“World Chase Tag”啟發(fā),規(guī)則如下:
研究人員設(shè)置了不同游戲難度,最簡單的就是空曠場地:
玩游戲過程里,機器狗很明顯是有策略的。
比如,一般等到躲避者離棋旗子較遠時,追擊者才會發(fā)起猛攻,把它逼到死角,游戲結(jié)束。
如果追擊者發(fā)現(xiàn)躲避者離旗子很近,自己根本沒機會追上它時,它會先放棄追逐,等待下一個旗子出現(xiàn):
有障礙物干擾也沒關(guān)系,倆狗子一樣玩得很6:
而能夠有如此表現(xiàn),并不是機器狗從一開始就拿這個游戲訓練。
它其實是基于自己已經(jīng)學到的一些動作、知識和技能,來應(yīng)對這個游戲場景。
具體怎么實現(xiàn)?往下看。
學了真狗的數(shù)據(jù)
研究一共分為三個階段。
學習動物運編程客棧動姿態(tài)
將運動姿態(tài)和外界感知聯(lián)系起來
附加網(wǎng)絡(luò)獲取和復(fù)雜任務(wù)有關(guān)信息
第一階段,是通過游戲中常用的動作捕捉系統(tǒng),通過收集真狗的姿態(tài)數(shù)據(jù),包括走、跑、跳、站立等動作,在仿真器中構(gòu)建一個模仿學習任務(wù)。
然后將這些數(shù)據(jù)中的信息抽象并壓縮到深度神經(jīng)網(wǎng)絡(luò)模型中,使其在涵蓋運動姿態(tài)信息的同時,還具有一定可解釋性。
騰訊RoboticsX機器人實驗室和騰訊游戲合作,用游戲技術(shù)提高了仿真引擎的準確性和高效性,同時游戲制作和研發(fā)過程中積累了多元的動捕素材。
這些技術(shù)以及數(shù)據(jù)android對基于物理仿真的智能體訓練以及真實世界機器人策略部署也起到了一定的輔助作用。
在模仿學習的過程中,神經(jīng)網(wǎng)絡(luò)僅接受機器狗的本體感知信息作為輸入,例如機器人身上電機的狀態(tài)等。
再下一步,模型引入周邊環(huán)境的感知數(shù)據(jù),例如通過其他傳感器“看到”的腳下的障礙物。
第二階段,通過額外的網(wǎng)絡(luò)參數(shù),將第一階段掌握的動物姿態(tài)和外界感知聯(lián)系在一起。
這樣機器狗就能通過已經(jīng)學會的動作,來應(yīng)對外界環(huán)境。
當機器人能夠適應(yīng)多種復(fù)雜的環(huán)境后,這些將動物姿態(tài)與外界感知聯(lián)系在一起的知識也會被固化下來,存在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中。
然后機器狗就能自如上樓梯了。
或者在不連續(xù)、不平整地面上奔跑:
然后就到了最后一階段,讓機器狗根據(jù)上面學會的技能,去解決實際問題
也就是上面提到的做游戲環(huán)節(jié)。
據(jù)介紹,游戲中機器狗的所有控制策略都是神經(jīng)網(wǎng)絡(luò)策略。
在仿真中進行學習并通過zero-shot transfer(零調(diào)整遷移),讓神經(jīng)網(wǎng)絡(luò)模擬人類的推理方式,來識別從未見過的新事物,并把這些知識部署到真實機器人上。
比如在預(yù)訓練模型中學會了躲避障礙物的知識,那么在游戲里設(shè)置障礙,機器狗也能輕松應(yīng)對。
本次研究新進展由騰訊Robotics X機器js人實驗室?guī)怼?/p>
該實驗成立于2018年,目前推出的機器人項目包括機器狗Max一代/二代、機器狗Jamoca、輪式機器人Ollie、自平衡自動駕駛摩托車等。
OnephpMore Thing
值得一提的是,之前UC伯克利的學者也將一種“真狗子”的訓練方法,用在了機器狗上。
吳恩達開山大弟子Pieter Abbeel等,讓機器狗自己在地上打滾一個小時,學會了走路。
而去年騰訊發(fā)布機器狗Max二代時,一段小花絮里,這狗會“撲腳”、“撒歡跑”,確實有家里毛孩子那味兒。
(當然,如果想讓它成為一只聽主人話的狗, 通過指令即可對其發(fā)號施令。)
咱就是說,現(xiàn)在機器狗的發(fā)展方向,不朝著翻跟頭卷,反倒是要和真狗子“搶飯碗”了嗎?
關(guān)鍵詞:
相關(guān)內(nèi)容
- 當前快看:鵝廠機器狗搶起真狗「飯碗」!會撒歡兒做游戲,遛人也賊6 a>
- 港口電煤報價開漲! a>
- 女孩稱13歲時遭強奸后懷孕引產(chǎn),報案近三年嫌疑人尚未受審 a>
- 東吳證券:政策支持頻出 AI+教育落地場景確定性凸顯 天天最資訊 a>
- 快評:布林肯訪華 大陸守底線臺灣憂被賣_實時焦點 a>
- 最新!全國各地2023高考查分時間匯總 a>
- 快資訊丨“大思政課”走進企業(yè),讓課堂活起來 a>
- 【天天時快訊】2023國考國家稅務(wù)總局四川省稅務(wù)局擬錄用公告(第三批) a>
- 廣州機務(wù)段被約談:D7122次列車16天前在站內(nèi)與路外人員相撞 a>
- 常發(fā)集團與北大荒農(nóng)服集團開展戰(zhàn)略合作業(yè)務(wù)對接! a>
- 每日觀點:共謀發(fā)展|俄羅斯經(jīng)銷商走進常發(fā)農(nóng)裝制造生產(chǎn)基地 a>
- 農(nóng)業(yè)農(nóng)村部調(diào)研組蒞臨洋馬參觀指導 a>
- 環(huán)球簡訊:麥收快訊(20230614) a>
- 提前做準備,迎接作業(yè)季—紐荷蘭青貯機烏蘭察布客戶關(guān)愛走訪活動_全球熱議 a>
- 5月份網(wǎng)約車訂單量環(huán)比上升4.2% a>
- 實時焦點:成品油價呈下調(diào)趨勢 a>
- 我國非化石能源發(fā)電裝機容量占比超50%——新型電力系統(tǒng)建設(shè)亟待提速|(zhì)每日熱文 a>
- “跨國公司龍江行”活動舉辦_當前視訊 a>
- 全球新動態(tài):金觀平:宏觀政策要合力擴需求 a>
- 世界短訊!高溫黃色預(yù)警:京津冀、河南、山東等地局地可達40℃以上 a>