他們是誰(shuí)?
他們是愛(ài)卡絲俱樂(lè)部,一家成立于2021年1月28日的新興團(tuán)體。三位俱樂(lè)部成員分別是蘇天祺、程昕、薛睿鑫,均是南京大學(xué)電子系二年級(jí)研究生,俱樂(lè)部名稱取自南京大學(xué)ICAIS實(shí)驗(yàn)室的音譯。俱樂(lè)部的指導(dǎo)老師是IEEE Fellow 王中風(fēng)教授。
成員合影(左起)程昕 蘇天祺 薛睿鑫
他們做了什么?
他們俱樂(lè)部參加了第五屆集成電路創(chuàng)新創(chuàng)業(yè)大賽(海云捷迅杯),針對(duì)MobileNet V1的硬件加速器進(jìn)行優(yōu)化。一路過(guò)關(guān)斬將,熬夜調(diào)通代碼,更新迭代結(jié)果在華東分賽區(qū)獲得二等獎(jiǎng)。最后絞盡腦汁進(jìn)行優(yōu)化,終于在全國(guó)總決賽獲得一等獎(jiǎng)(企業(yè)大獎(jiǎng))。
俱樂(lè)部成員程昕為他們的優(yōu)化方案起名叫“基于稀疏卷積與層融合的流水線優(yōu)化方案”。優(yōu)化手段分別放在量化、排序、傳輸、計(jì)算、流水線這五個(gè)方面。通過(guò)優(yōu)化,他們將原3000ms的預(yù)測(cè)時(shí)間,壓縮到接近800ms,速度提升超過(guò)3.5倍
整體的優(yōu)化思路和手段
最后的推理效果和時(shí)間效果如圖(若將第二層卷積放在arm上進(jìn)行,速度會(huì)慢一點(diǎn)但是精度會(huì)高一些)
所有卷積在FPGA上進(jìn)行,速度快,精度稍低(左圖);第二層卷積在ARM上進(jìn)行,速度稍慢,但是精度高(右圖)
他們的作品
他們的任務(wù)是需要針對(duì)基于MobileNet V1的SSD目標(biāo)檢測(cè)算法加速器進(jìn)行優(yōu)化,以達(dá)到快速的目標(biāo)檢測(cè)效果。
1、整體架構(gòu)
Data (數(shù)據(jù))經(jīng)UpSizer和BusMatrix進(jìn)行仲裁,存儲(chǔ)到相應(yīng)的SRAM中,他們將PingPong Buffer取代原SRAM,用來(lái)實(shí)現(xiàn)數(shù)據(jù)傳輸和計(jì)算的并行;重新設(shè)計(jì)卷積模塊,并將卷積結(jié)果直接傳入BiasRelu單元,二者采用層融合的方式連接,以便提高數(shù)據(jù)讀寫(xiě)和傳輸效率。
整體的架構(gòu)圖
2、卷積重構(gòu)
他們采用row-wise,weight stationary的方式重新設(shè)計(jì)卷積模塊,并將乘法的并行度提高到96(3x32)使得網(wǎng)絡(luò)可以同時(shí)計(jì)算32個(gè)卷積核的一行數(shù)據(jù),以加快卷積的計(jì)算速度并提高片上數(shù)據(jù)的復(fù)用性。
普通卷積的計(jì)算數(shù)據(jù)流
逐點(diǎn)卷積的計(jì)算數(shù)據(jù)流
3、流水線優(yōu)化
為了進(jìn)一步提高計(jì)算流水,他們將卷積(Conv)和偏移、激活(BiasReLU)融合起來(lái)并加入PingPong Buffer。
4、量化方案
他們也對(duì)量化過(guò)程進(jìn)行優(yōu)化,并在推理前對(duì)完成對(duì)數(shù)據(jù)的量化并保存結(jié)果。以減少權(quán)重的重復(fù)量化。
量化過(guò)程示意圖
5、硬件架構(gòu)
上述架構(gòu)的硬件設(shè)計(jì)如圖所示。他們?cè)O(shè)計(jì)的硬件單元包括包含32個(gè)Conv Core;每個(gè)Conv Core包括3個(gè)8bits乘法器和3個(gè)32bits加法器;Psum Processing負(fù)責(zé)累加并存儲(chǔ)卷積計(jì)算的中間值。
6、優(yōu)化結(jié)果
經(jīng)過(guò)他們的優(yōu)化,在不同卷積層的加速達(dá)到了最高39倍加速比,平均4.5倍加速比。并且將整體的目標(biāo)識(shí)別速度提升到了最快836ms!
普通卷積層(左)和逐點(diǎn)卷積層加速比
獲獎(jiǎng)心得
愛(ài)卡絲俱樂(lè)部整個(gè)暑假都埋頭苦干,終于一路披荊斬棘,最后拿到了想要的名次。讓我們來(lái)聽(tīng)聽(tīng)各個(gè)成員的參賽心得吧!
蘇天祺:在這次比賽中,每位成員都有著很強(qiáng)的責(zé)任感和任務(wù)意識(shí),大家主動(dòng)給自己分配了需要學(xué)習(xí)的內(nèi)容,所以即使是初次接觸,我們的準(zhǔn)備也足夠。而且凡是遇到困難,我們都會(huì)相互討論并且請(qǐng)教有經(jīng)驗(yàn)的學(xué)長(zhǎng)和老師,比賽氣氛簡(jiǎn)直不要太好!
程昕:我們每周都會(huì)開(kāi)會(huì)啊,大家一股腦把問(wèn)題拋出來(lái)然后相互討論,我們就會(huì)碰撞出很多的火花。我們也會(huì)給自己規(guī)定時(shí)間軸(雖然經(jīng)常做不完),但是給自己一個(gè)ddl,自己就有很多的動(dòng)力!
薛睿鑫:其實(shí)我們初賽過(guò)后,性能并不是很好,但是大家也都不氣餒,也沒(méi)放棄,那個(gè)STP一直連不上,簡(jiǎn)直要崩潰了,但是一遍一遍的嘗試,一遍一遍的請(qǐng)教相關(guān)老師,終于出了結(jié)果。我們都非常高興。
還有什么有趣的想分享?
在比賽之余,愛(ài)卡絲俱樂(lè)部還積極參加了集創(chuàng)賽五周年短視頻大賽,蘇天祺拍攝的小短片還悄默默拿了個(gè)三等獎(jiǎng),而三等獎(jiǎng)?wù)怯珊Ｔ平菅钢С值亩ㄖ扑{(lán)牙耳機(jī),感覺(jué)和海云捷迅的緣分真的非常的深。
文編 蘇天祺
圖片 蘇天祺 程昕 薛睿鑫 蘇子琦
