歷經(jīng)數(shù)月的激烈角逐,CVPR 2021(Computer Vision and Pattern Recognition,計算機視覺與模式識別國際頂級會議)的多項挑戰(zhàn)賽結(jié)果正式出爐。好未來AI研究院憑借在圖像領(lǐng)域的長期投入和創(chuàng)新技術(shù)積累,分別在Person In Context 挑戰(zhàn)賽(Human-Object-Interaction Detection賽道)、 UG2+挑戰(zhàn)賽(Superviced Face Detection In Low Light Conditions賽道)、Gaze Estimation and Prediction in the wild 挑戰(zhàn)賽(ETH-XGaze賽道)和ActivityNet挑戰(zhàn)賽(Active Speaker Detection賽道)等重要賽事中,擊敗眾多科技巨頭和知名高校,共計斬獲4項國際冠軍,并受邀出席會議作報告分享,這標(biāo)志著中國科技教育企業(yè)研發(fā)的視覺算法技術(shù)已處于國際一流水平。
這是好未來繼勇奪CVPR2020的EmotioNet人臉表情識別競賽冠軍后,再次在該國際技術(shù)賽場上獲得佳績。CVPR由IEEE電氣與電子工程師協(xié)會舉辦,是計算機視覺和模式識別領(lǐng)域最具影響力、內(nèi)容最全面的頂級A類學(xué)術(shù)會議,好未來此次參賽的前沿技術(shù)包括暗光下人臉檢測、人/物關(guān)系檢測、視線估計、說話人檢測等。
其中,Person In Context 挑戰(zhàn)賽由北京航空航天大學(xué)、浙江大學(xué)等國內(nèi)外高校舉辦,吸引了曠世、百度等公司和研究機構(gòu)參賽。人/物關(guān)系檢測任務(wù)目標(biāo)是輸出多個三元組,包含了人的坐標(biāo)框、物體的坐標(biāo)框、人/物關(guān)系。該技術(shù)是面向以人為中心場景下高級語義理解的重要一步,具有廣泛的應(yīng)用場景,例如行為分析、人機交互以及智能監(jiān)控等。好未來在該競賽中提出了結(jié)合人體關(guān)鍵點信息的圖網(wǎng)絡(luò)方法進行關(guān)系的推理,并在網(wǎng)絡(luò)中融合Transformer模塊進行特征的增強,使最終端到端的結(jié)果得到了明顯提升,以mAP 95.5的絕對優(yōu)勢奪魁。上述技術(shù)已應(yīng)用于好未來教學(xué)質(zhì)量評估系統(tǒng),為改善老師授課質(zhì)量提供了重要的數(shù)據(jù)分析。
Person In Context 人/物關(guān)系檢測賽道最終榜單
在無約束、動態(tài)退化的環(huán)境中(如惡劣天氣和光照條件等),視覺感知和理解算法的性能會受較大影響,+ 挑戰(zhàn)賽旨在通過應(yīng)用圖像恢復(fù)和增強算法來提高分析性能,從而推進對“困難”圖像的分析。其中暗光人臉檢測賽道重點解決人臉檢測算法在暗光環(huán)境下檢測效果下降的問題,該項技術(shù)對解決學(xué)生視力保護的問題有重大意義。
由于在暗光環(huán)境下人臉的視覺特征相較正常環(huán)境下差異巨大,使用現(xiàn)有人臉檢測算法不能有效工作,對檢測算法與研究人員都有很大的挑戰(zhàn)。
為了應(yīng)對這些問題,好未來結(jié)合了傳統(tǒng)方法和深度學(xué)習(xí)方法的“去黑暗化”的數(shù)據(jù)處理方案。此外還利用一系列的圖像處理技術(shù)與GAN技術(shù),將正常的圖像(來自于Widerface, UFDD)“先變暗后變亮再加噪聲”,得到與黑暗圖像變亮效果類似的圖像,實現(xiàn)正常圖片的“域”遷移。好未來以多種技術(shù)方法的有效結(jié)合,最終以領(lǐng)先第二名超過3%的mAP奪冠。
UG2+ 人臉暗光檢測賽道最終榜單
人的視線在人機交互、情感計算和醫(yī)學(xué)診斷等許多應(yīng)用領(lǐng)域中起著基礎(chǔ)性的作用,尤其在教育場景中,視線的關(guān)注點直接與學(xué)生聽課的關(guān)注度相關(guān)。對于一張給定的包含面部的圖像數(shù)據(jù),ETH-XGaze挑戰(zhàn)賽要求參賽隊伍分析圖片中人物的眼睛信息,精確計算出圖片中視線的偏移角度。該挑戰(zhàn)賽發(fā)布的數(shù)據(jù)集由超過一百萬張在極端頭部姿勢下不同凝視的高分辨率圖像組成,包含了110名參與者在18個數(shù)碼單反相機和可調(diào)節(jié)的照明條件的下的視線圖像,吸引了華為、中國科學(xué)技術(shù)大學(xué)等數(shù)十支隊伍參與。
好未來與中科院計算所聯(lián)合摘桂,雙方將先進技術(shù)與實際業(yè)務(wù)經(jīng)驗相結(jié)合,采用注意力機制將眼睛的局部特征和臉部的全局特征相結(jié)合,有效提高了回歸模型的精度。據(jù)悉,該項技術(shù)已經(jīng)應(yīng)用在學(xué)而思網(wǎng)校的授課系統(tǒng)中,并在智慧教育國家新一代人工智能開放創(chuàng)新平臺上線。
ETH-XGaze競賽冠軍
ActivityNet是目前視頻理解領(lǐng)域影響力最大的賽事之一,其中Active Speaker賽道任務(wù)目標(biāo)是對視頻中的可見人物是否在說話進行精確地判斷,該項技術(shù)對于網(wǎng)課教學(xué)中判斷和提升學(xué)生互動的效果頗好。好未來與中科院計算所聯(lián)隊在未采用任何預(yù)訓(xùn)練的情況下,依然取得了93.44 mAP的指標(biāo),戰(zhàn)勝了慕尼黑工業(yè)大學(xué)、微軟、新加坡國立大學(xué)等眾多強隊。
ActivityNet active speaker賽道冠軍
好未來AI研究院是國內(nèi)教育領(lǐng)域較早進行AI技術(shù)研究與落地探索的研究機構(gòu),經(jīng)過近5年的積累與沉淀,不斷取得前沿核心技術(shù)突破,涉及圖像與視頻理解、機器學(xué)習(xí)、自然語言理解、語音合成與評測等多個領(lǐng)域,面向行業(yè)開放了視覺、語音、NLP和數(shù)據(jù)挖掘等領(lǐng)域的100余項AI能力,提供互動評測、練習(xí)批改、內(nèi)容生產(chǎn)和教學(xué)管理等方面的定制化AI解決方案,累計獲得包括UbiComp2020競賽、NeurIPS2020“教育挑戰(zhàn)”競賽、CCL 2020幽默計算評測、INTERSPEECH 2021“非母語兒童識別”競賽在內(nèi)的十余項國內(nèi)外競賽冠軍,發(fā)表60多篇高水平學(xué)術(shù)論文,獲得100余項專利。
作為智慧教育國家新一代人工智能開放創(chuàng)新平臺承建單位,好未來積極踐行開放共贏的理念,近日與智源研究院深度攜手,成為悟道生態(tài)戰(zhàn)略合作伙伴,加速在智慧課堂、教師輔助、智慧學(xué)伴、教育智能硬件、自適應(yīng)學(xué)習(xí)等領(lǐng)域的探索落地,共同推進教育行業(yè)智能化升級與數(shù)字化轉(zhuǎn)型,助力發(fā)展更加公平、更有質(zhì)量的教育,堅持用科技守護教育的初心,以開放合作共同成就教育美好。
