2018年12月24日，你可能見過好萊塢明星身穿的動捕套裝的樣子，而計(jì)算機(jī)可以利用相應(yīng)的傳感器信息來將他們的表演轉(zhuǎn)換成綠巨人或智慧猿人。
現(xiàn)在，普林斯頓教授Mala Murthy和Joshua Shaevitz的聯(lián)手合作則更進(jìn)一步，利用人工智能的最新進(jìn)步來追蹤動物的身體運(yùn)動。
只需數(shù)分鐘，他們研發(fā)的工具LEAP Estimates Animal Pose(LEAP)就能夠以高精度自動追蹤數(shù)百萬幀視頻中的各個動物身體部位，無需添加任何物理標(biāo)記或標(biāo)簽。
詳細(xì)介紹這項(xiàng)新技術(shù)的論文將發(fā)表在2019年1月出版的《Nature Methods》期刊上，但他們于5月推出的公開訪問版本已經(jīng)促使其他一系列的實(shí)驗(yàn)室采用了他們的軟件。
相關(guān)論文：Fast animal pose estimation using deep neural networks
物理學(xué)教授Shaevitz指出，當(dāng)研究人員將LEAP與其他定量工具相結(jié)合時，他們可以觀察動物的運(yùn)動模式，并研究所謂的“行為語言”。
普林斯頓神經(jīng)科學(xué)研究所的研究生，論文第一作者Talmo Pereira說道：“這是一個靈活的工具，原則上可用于任何視頻數(shù)據(jù)。具體的工作方式是，在幾個視頻中標(biāo)記幾個追蹤點(diǎn)，然后神經(jīng)網(wǎng)絡(luò)即可完成剩下的工作。我們提供了一個易于使用的界面，任何人都可以將LEAP應(yīng)用到自己的視頻中，無需任何編程知識。”
當(dāng)被問及LEAP在大型動物身上是否能實(shí)現(xiàn)跟蒼蠅和老鼠等小型動物一樣的效果時，Pereira馬上制作了一個動態(tài)標(biāo)記的長頸鹿視頻。
Pereira解釋說：“我們從Mpala研究站拍攝了一只長頸鹿的步行視頻…并在30個視頻幀中標(biāo)記了追蹤點(diǎn)，整個過程花了不到一個小時。LEAP隨后能夠在幾秒鐘內(nèi)追蹤整個視頻的剩余部分(大約500幀)?！?/p>
在以前，開發(fā)可以追蹤人體運(yùn)動的AI工具依賴于大量手動標(biāo)記數(shù)據(jù)的訓(xùn)練集，因?yàn)橹挥羞@樣軟件才可以穩(wěn)健地支持具有截然不同背景或照明條件的不同數(shù)據(jù)。
Murthy對此則表示：“對于我們的情況而言，我們優(yōu)化了類似的方法來處理實(shí)驗(yàn)室環(huán)境中采集的數(shù)據(jù)。我們建立了一個允許用戶選擇適合采集數(shù)據(jù)類型的神經(jīng)網(wǎng)絡(luò)的系統(tǒng)?！?/p>
這項(xiàng)研究在神經(jīng)科學(xué)以外同樣有著巨大的潛力，例如游戲，虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)。因?yàn)閭鹘y(tǒng)的動物動捕成本十分高昂，而且復(fù)雜，不適合小型工作室。但對于這種快速，適應(yīng)性強(qiáng)，簡單，并且原則上可用于任何視頻數(shù)據(jù)的AI解決方案，它有可能成為游戲，以及虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)領(lǐng)域的福音。
