所謂“模態(tài)”，英文是modality，用通俗的話說(shuō)，就是“感官”，多模態(tài)即將多種感官融合。
目前的人機(jī)智能交互比如語(yǔ)言控制不如屏幕控制那么精準(zhǔn)，很多時(shí)候會(huì)誤判指令和錯(cuò)誤喚醒，比較語(yǔ)言充滿(mǎn)了不確定性;再比如，語(yǔ)音交互的物聯(lián)網(wǎng)設(shè)備還是缺乏主動(dòng)服務(wù)的能力，只是換了操作方式而已，用戶(hù)體驗(yàn)沒(méi)有本質(zhì)提升。
假如我們把“模態(tài)”通俗地理解為感官，那么智能音箱就是只具備聽(tīng)覺(jué)模態(tài)的物聯(lián)網(wǎng)設(shè)備，而加載AI分析能力的攝像頭可以視為視覺(jué)模態(tài)的物聯(lián)網(wǎng)設(shè)備。把聽(tīng)覺(jué)、視覺(jué)甚至更多模態(tài)組合到一起，多模態(tài)物聯(lián)網(wǎng)也就誕生了。
目前的AI設(shè)備中感知模態(tài)主要包括三種。第1種是、語(yǔ)音交互，包括語(yǔ)音指令控制、語(yǔ)義理解、多輪對(duì)話、NLP、語(yǔ)音精準(zhǔn)識(shí)別等領(lǐng)域;第2種叫做機(jī)器視覺(jué)，包括自然物體識(shí)別、人臉識(shí)別、肢體動(dòng)作識(shí)別等;第3種則是傳感器智能，包括AI對(duì)熱量、紅外捕捉信號(hào)、空間信號(hào)的閱讀與理解。
把這三種東西融合在一起，物聯(lián)網(wǎng)設(shè)備就可以在單純的能聽(tīng)會(huì)說(shuō)之外，同時(shí)還用攝像頭觀察、用傳感器判斷。而比較前沿的多模態(tài)感知還包括機(jī)器嗅覺(jué)，機(jī)器觸覺(jué)和情緒理解等內(nèi)容，但目前還沒(méi)有落地產(chǎn)品。
目前多模態(tài)交互的主要應(yīng)用場(chǎng)景：
場(chǎng)景一：多模態(tài)AI交互技術(shù)投射在物聯(lián)網(wǎng)設(shè)備上，大概就是用機(jī)器視覺(jué)技術(shù)進(jìn)行嘴唇識(shí)別，來(lái)分離語(yǔ)音交互指令。嘗試通過(guò)用機(jī)器視覺(jué)來(lái)讀取說(shuō)話人的唇語(yǔ)和動(dòng)作，來(lái)判斷每個(gè)聲音指令的來(lái)源。
場(chǎng)景二：多模態(tài)空調(diào)。在一些新的智能空調(diào)解決方案中，空調(diào)會(huì)在語(yǔ)音交互的基礎(chǔ)上通過(guò)機(jī)器視覺(jué)來(lái)判斷用戶(hù)的位置，提供智能送冷，并且會(huì)結(jié)合傳感器判斷屋內(nèi)溫度和濕度，提供更精準(zhǔn)的環(huán)境方案。
場(chǎng)景三：多模態(tài)電視。今年電視背后的AI平臺(tái)戰(zhàn)打得風(fēng)生水起，把機(jī)器視覺(jué)技術(shù)引入電視成為了新的趨勢(shì)。通過(guò)機(jī)器視覺(jué)來(lái)讓電視觀察屋內(nèi)照明情況、用戶(hù)與電視的距離，電視可以主動(dòng)調(diào)節(jié)屏幕光線強(qiáng)度，輸出比較護(hù)眼的模式。還有的AI應(yīng)用是讓電視在觀察到兒童看電視后主動(dòng)開(kāi)啟童鎖。
據(jù)媒體報(bào)道， 2019年年底國(guó)產(chǎn)芯片核心玩家炬芯科技隆重舉辦了TechLife開(kāi)發(fā)者大會(huì)，以“多模態(tài)交互技術(shù)”為主題，在人工智能的大背景下探討多模態(tài)交互技術(shù)的落地和發(fā)展，同時(shí)還邀請(qǐng)了阿里達(dá)摩院、喜馬拉雅、玩瞳科技、CEVA 等多位技術(shù)大咖，共同探討行業(yè)前沿技術(shù)，現(xiàn)場(chǎng)人氣爆棚，可見(jiàn)炬芯科技對(duì)未來(lái)趨勢(shì)有著獨(dú)特的預(yù)見(jiàn)性，這也是多年來(lái)行業(yè)領(lǐng)先致勝競(jìng)品的重要原因之一。
人機(jī)交互正在從鍵盤(pán)鼠標(biāo)的交互轉(zhuǎn)變成語(yǔ)音視覺(jué)等多模態(tài)交互。交互門(mén)檻的不斷降低，給交互體驗(yàn)帶來(lái)了明顯提升。
為實(shí)現(xiàn)更優(yōu)質(zhì)交互體驗(yàn)，炬芯作為一家芯片設(shè)計(jì)廠商的也在持續(xù)深耕技術(shù)，希望用更優(yōu)質(zhì)產(chǎn)品給智能機(jī)器賦能。炬芯推出 ATS 3607、 ATS 3607D、 ATS 3609、 ATS 3609D 四款多模態(tài)智能交互芯片，充足的算力、超低的功耗、強(qiáng)大的可擴(kuò)展性，將賦予機(jī)器更多的可能性。
其中，炬芯 ATS 3609D，多麥智能語(yǔ)音、輕智能圖像、雙模態(tài)識(shí)別手指輸入解決方案。將語(yǔ)音交互、機(jī)器視覺(jué)和傳感器三個(gè)模態(tài)綜合，為強(qiáng)人工智能下的多模態(tài)交互提供可行解決方案。
AI 多模態(tài)交互技術(shù)已經(jīng)成為人工智能交互的必然趨勢(shì)，我們也期待著炬芯多模態(tài)交互芯片平臺(tái)能在更多的場(chǎng)景中應(yīng)用開(kāi)來(lái)，賦予機(jī)器更強(qiáng)的智能屬性，用更加像人的智能機(jī)器給大家?guī)?lái)更好的服務(wù)。
