一般的機(jī)器學(xué)習(xí)系統(tǒng)都是以人的視角建立，但華盛頓大學(xué)和艾倫人工智能研究所的研究人員試圖用狗的行為數(shù)據(jù)訓(xùn)練AI系統(tǒng)，研究人員通過傳感器等設(shè)備采集了一只愛斯基摩犬的運(yùn)動(dòng)數(shù)據(jù)，并以此來訓(xùn)練AI系統(tǒng)實(shí)現(xiàn)三個(gè)目標(biāo)：1、像狗一樣行動(dòng)，預(yù)測(cè)未來動(dòng)作;2、像狗一樣計(jì)劃任務(wù);3、從狗行為中學(xué)習(xí)。論文已被CVPR 2018接收。這項(xiàng)工作的意義在于理解視覺數(shù)據(jù)，讓智能體采取行動(dòng)并執(zhí)行任務(wù)。

　　我們已經(jīng)訓(xùn)練機(jī)器學(xué)習(xí)系統(tǒng)來識(shí)別物體，進(jìn)行導(dǎo)航，或識(shí)別面部表情，但盡管可能很難，機(jī)器學(xué)習(xí)甚至沒有達(dá)到可以模擬的復(fù)雜程度，例如，模擬一只狗。那么，這個(gè)項(xiàng)目的目的就是做到這一點(diǎn)——當(dāng)然是用一種非常有限的方式。通過觀察一只非常乖巧的狗的行為，這個(gè)AI學(xué)會(huì)了如何像狗一樣行動(dòng)的基礎(chǔ)知識(shí)。

　　這是華盛頓大學(xué)和艾倫人工智能研究所合作的研究，論文發(fā)表在今年6月舉辦的CVPR。

　　我們研究了如何直接建模一個(gè)視覺智能體(visually intelligent agent)。計(jì)算機(jī)視覺通常專注于解決與視覺智能相關(guān)的各種子任務(wù)。但我們偏離了這種標(biāo)準(zhǔn)的計(jì)算機(jī)視覺方法;相反，我們?cè)噲D直接建模一個(gè)視覺智能的agent。我們的模型將視覺信息作為輸入，并直接預(yù)測(cè)agent的行為。為此，我們引入了DECADE數(shù)據(jù)集，這是一個(gè)從狗的視角搜集的狗的行為數(shù)據(jù)集。利用這些數(shù)據(jù)，我們可以模擬狗的行為和動(dòng)作規(guī)劃方式。在多種度量方法下，對(duì)于給定的視覺輸入，我們成功地對(duì)agent進(jìn)行了建模。此外，與圖像分類任務(wù)訓(xùn)練的表示相比，我們的模型學(xué)習(xí)到的表示能編碼不同的信息，也可以推廣到其他領(lǐng)域。特別是，通過將這種狗的建模任務(wù)作為表示學(xué)習(xí)，我們?cè)诳尚凶弑砻骖A(yù)測(cè)(walkable surface estimation)和場(chǎng)景分類任務(wù)中得到了非常好的結(jié)果。

　　理解視覺數(shù)據(jù)：模仿狗，學(xué)習(xí)狗

　　為什么做這個(gè)研究?雖然已經(jīng)有很多工作在研究模擬感知的子任務(wù)，例如識(shí)別一個(gè)物體并將其撿拾起來，但是“理解視覺數(shù)據(jù)，達(dá)到可以讓agent在視覺世界中采取行動(dòng)并執(zhí)行任務(wù)的程度”，這樣的研究很少。換句話說，不是模擬眼睛的行為，而是模擬控制眼睛的主體。

　　那么為什么選擇狗?因?yàn)楣肥欠浅?fù)雜的智能體，研究者說：“它們的目標(biāo)和動(dòng)機(jī)往往是沒法預(yù)知的。”換句話說，狗狗很聰明，但我們不知道它們?cè)谙胧裁础?/p>

　　作為對(duì)這一研究領(lǐng)域的初步嘗試，該團(tuán)隊(duì)希望通過密切監(jiān)視狗狗的行為，并將狗狗的運(yùn)動(dòng)和行動(dòng)與所它看到的環(huán)境相對(duì)應(yīng)，來觀察是否能夠建立一個(gè)能夠準(zhǔn)確預(yù)測(cè)這些行動(dòng)的系統(tǒng)。

　　將一套傳感器裝在一直愛斯基摩犬身上，收集數(shù)據(jù)

　　為了達(dá)到這一目的，研究者把一套基礎(chǔ)傳感器裝在一只名叫Kelp M. Redmon的愛斯基摩犬身上。他們?cè)贙elp的頭部裝上一個(gè)GoPro相機(jī)，6個(gè)慣性測(cè)量單元(分別在腿、尾巴和身體上)用以判斷物體的位置，一個(gè)麥克風(fēng)以及一個(gè)把這些數(shù)據(jù)綁在一起的Arduino開發(fā)板。

　　他們花了許多小時(shí)記錄狗狗的活動(dòng)——在不同的環(huán)境中行走，取東西，在狗公園玩耍，吃東西——并把狗的動(dòng)作與它看到的環(huán)境同步。結(jié)果是形成了一個(gè)在狗的環(huán)境中以狗自身為視角的行為數(shù)據(jù)集(Dataset of Ego-Centric Actions in a Dog Environment)，簡(jiǎn)稱為DECADE數(shù)據(jù)集。研究者用這個(gè)數(shù)據(jù)集來訓(xùn)練一個(gè)新的AI智能體。

　　對(duì)這個(gè)agent，給定某種感官輸入——例如一個(gè)房間或街道的景象，或一個(gè)飛過的球——以預(yù)測(cè)狗在這種情況下會(huì)做什么。當(dāng)然，不用說特別細(xì)節(jié)，哪怕只是弄清楚它的身體如何移動(dòng)，移向哪里，已經(jīng)是一項(xiàng)相當(dāng)重要的任務(wù)。

　　華盛頓大學(xué)的Hessam Bagherinezhad是研究人員之一，他解釋道：“它學(xué)會(huì)了如何移動(dòng)關(guān)節(jié)以走路，學(xué)會(huì)了再走路或跑步是如何避開障礙物。”“它學(xué)會(huì)了追著松鼠跑，跟隨者主人走，追逐飛起來的狗玩具(玩飛盤游戲時(shí))。這些都是計(jì)算機(jī)視覺和機(jī)器人技術(shù)的一些基本AI任務(wù)(例如運(yùn)動(dòng)規(guī)劃、可步行的表面、物體檢測(cè)、物體跟蹤、人物識(shí)別)，我們一直試圖通過為每個(gè)任務(wù)收集單獨(dú)的數(shù)據(jù)來解決。”

　　研究提出三個(gè)問題：(1) 模仿狗的行為：根據(jù)狗之前的行為圖像，預(yù)測(cè)狗接下來的行為;(2) 像狗一樣規(guī)劃行動(dòng);(3)從狗的行為學(xué)習(xí)：例如，預(yù)測(cè)一個(gè)可供行走的區(qū)域。

　　這些任務(wù)可以產(chǎn)生一些相當(dāng)復(fù)雜的數(shù)據(jù)：例如，狗模型必須知道，就像真的狗狗一樣，當(dāng)它需要從一個(gè)地點(diǎn)移動(dòng)到另一地點(diǎn)的時(shí)候，它可以在哪些地方行走。它不能在樹上或汽車上行走，也不能在沙發(fā)上行走(取決于房子)。因此，這個(gè)模型也學(xué)會(huì)了這一點(diǎn)，它可以作為一個(gè)計(jì)算機(jī)視覺模型單獨(dú)部署，用以找出一個(gè)寵物(或一個(gè)有足機(jī)器人)在一張給定圖像中可以到達(dá)的位置。

　　用于預(yù)測(cè)狗的行為的模型架構(gòu)

　　用于學(xué)習(xí)狗的規(guī)劃方式的模型架構(gòu)

　　用于預(yù)測(cè)可行走區(qū)域的模型架構(gòu)

　　研究人員說，這只是一個(gè)初步的實(shí)驗(yàn)，雖然取得了成功，但結(jié)果有限。后續(xù)研究可能會(huì)考慮引入更多的感官(例如嗅覺)，或者看看一只狗(或許多狗)的模型可以如何推廣到其他狗身上。他們的結(jié)論是：“我們希望這項(xiàng)工作為我們更好地理解視覺智能和其他生活在我們世界里的智能生物鋪平道路。”