說起阿爾法蛋大蛋2.0機(jī)器人，有不少家長和孩子最感興趣的就是TA的指讀功能：只要把小學(xué)語文英語課本放在TA面前，再用手指著課本上的詞句，大蛋2.0馬上就能聲情并茂地朗讀出來，屏幕上也會同步顯示所指的內(nèi)容，還可以點(diǎn)擊進(jìn)行跟讀評測。
除此之外，指尖查詞也同樣實(shí)用。任意的中英紙質(zhì)讀物放在TA面前，用手指一指紙上的字、詞，中文的有筆順筆畫、部首結(jié)構(gòu)、釋義組詞，英文的則有音標(biāo)、詞性詞義、例句和發(fā)音評測等。
其實(shí)，阿爾法蛋大蛋2.0的指讀功能的實(shí)現(xiàn)集合了許多種技術(shù)，其中有一項(xiàng)關(guān)鍵技術(shù)叫做手勢識別——在科大訊飛的手勢識別技術(shù)基礎(chǔ)上，淘云科技針對兒童使用的場景進(jìn)行了深度優(yōu)化，才能讓大蛋2.0“看到”孩子手指的內(nèi)容、幫助孩子學(xué)習(xí)字詞、課文等。
就在今年1月17日，科大訊飛在德國The 20BN-Jester Dataset手勢識別評測中以97.26%的準(zhǔn)確率斬獲冠軍，并刷新世界紀(jì)錄。阿爾法蛋大蛋2.0“指哪讀哪”的秘訣之一，這回在世界級的賽場上大放異彩啦！
科大訊飛刷新德國The 20BN-Jester Dataset手勢識別評測世界紀(jì)錄
（截圖來源：The 20BN-Jester Dataset 官方網(wǎng)站 https://20bn.com/datasets/jester）
什么是The 20BN-Jester Dataset手勢識別評測？
The 20BN-Jester Dataset評測集由德國TwentyBN公司發(fā)起，擁有全球最大規(guī)模動態(tài)手勢識別數(shù)據(jù)集，在線實(shí)時(shí)滾動排名的競賽方式吸引了華為、斯坦福大學(xué)、福特等眾多國內(nèi)外優(yōu)秀創(chuàng)新企業(yè)和頂尖學(xué)術(shù)機(jī)構(gòu)的參與。 該測評從海量的視頻資源選取了1376名被采集者的動態(tài)手勢，包含“向左或向右重?fù)簟?、“兩個(gè)手指向上或向下滑動”、“向前或向后擺手”在內(nèi)的27種手勢類別，涵蓋大部分常見手勢類別。 為了讓參賽者提供的識別方案具有更大的應(yīng)用價(jià)值，在該評測集中，針對不同的被采集者，選用風(fēng)格迥異的背景對其做出的手勢進(jìn)行采集，最終用于評測的手勢視頻具有“持續(xù)時(shí)間短、手勢動作復(fù)雜”的特點(diǎn)，這要求識別模型對時(shí)空信息具備很強(qiáng)的理解能力。
如何刷新世界記錄？
在這次測評中，科大訊飛成功借鑒復(fù)雜版本分析中文本檢測以及駕駛場景中圖像語義分割技術(shù)，并結(jié)合手勢識別任務(wù)對算法進(jìn)行針對性地遷移和改進(jìn)。 在識別模型設(shè)計(jì)上，為實(shí)現(xiàn)動態(tài)手勢識別效率與準(zhǔn)確率的均衡，團(tuán)隊(duì)摒棄了計(jì)算量復(fù)雜的3D卷積神經(jīng)網(wǎng)絡(luò)方案，采用更為輕量化的2D卷積神經(jīng)網(wǎng)絡(luò)模型對視頻進(jìn)行逐幀分析，同時(shí)為了進(jìn)一步提升性能，團(tuán)隊(duì)設(shè)計(jì)相鄰幀特征交互模塊和自注意力機(jī)制相結(jié)合的方案，實(shí)現(xiàn)短時(shí)長時(shí)特征信息的交互，提升模型對時(shí)空信息的理解能力，大幅提升模型識別性能，最終取得了97.26%的識別準(zhǔn)確率。 “低功耗，更精準(zhǔn)”是團(tuán)隊(duì)在設(shè)計(jì)方案時(shí)遵循的原則，也是相關(guān)技術(shù)實(shí)現(xiàn)應(yīng)用落地的前提和保障。得益于此，這次評測所采用的方案可以直接應(yīng)用在移動端在線手勢識別，從而讓人機(jī)交互的方式更靈活便捷。
正是得益于不斷進(jìn)步的手勢識別技術(shù)，結(jié)合OCR技術(shù)識別內(nèi)容，以及圖像識別、語音合成等應(yīng)用，再加上淘云科技在兒童場景下對技術(shù)的深度優(yōu)化，AI學(xué)習(xí)機(jī)器人阿爾法蛋大蛋2.0才能實(shí)現(xiàn)“指哪學(xué)哪”。
除了指讀之外，阿爾法蛋大蛋2.0還擁有個(gè)性化精準(zhǔn)學(xué)的特色功能，讓孩子先通過少量題目找到知識點(diǎn)掌握的薄弱點(diǎn)，然后有針對性地進(jìn)行分析、進(jìn)行知識點(diǎn)學(xué)習(xí)和習(xí)題訓(xùn)練，提高學(xué)習(xí)效率與效果?？谡Z評測、繪本伴讀、算術(shù)批改、創(chuàng)意編程等，也讓大蛋2.0為孩子們的學(xué)習(xí)解鎖了更多新方式。用AI啟迪未來新人類，可不止是說說而已！
