2024 ASC世界大學(xué)生超級(jí)計(jì)算機(jī)競(jìng)賽(ASC24)已進(jìn)入預(yù)賽階段,通過(guò)預(yù)賽選拔的隊(duì)伍將參加4月9日-13日在上海大學(xué)舉行的總決賽。來(lái)自全球各地的300多支高校隊(duì)伍正在挑戰(zhàn)一道人工智能難題——大語(yǔ)言模型推理優(yōu)化。參賽隊(duì)伍需要基于LLaMA2-70B大模型構(gòu)建推理引擎,考慮多種優(yōu)化方法,實(shí)現(xiàn)高吞吐推理,直面大語(yǔ)言模型應(yīng)用落地的考驗(yàn)。
目前生成式人工智能呈現(xiàn)“百模爭(zhēng)秀”,隨著大模型訓(xùn)練開(kāi)發(fā)快速進(jìn)展和應(yīng)用逐步落地,對(duì)大模型推理性能和成本的優(yōu)化已經(jīng)受到業(yè)界高度重視。大模型落地面臨的困難,一方面是大模型的結(jié)構(gòu)決定了推理解碼階段計(jì)算效率低、難優(yōu)化;另一方面,幾百億參數(shù)規(guī)模的大模型很難單卡部署,涉及多卡并行,需考慮通信開(kāi)銷。
為了讓大學(xué)生認(rèn)識(shí)到大模型推理的重要性,激發(fā)他們對(duì)這一領(lǐng)域的學(xué)習(xí)熱情,ASC24超算競(jìng)賽設(shè)置了大模型推理賽題。要求參賽隊(duì)伍基于流行的開(kāi)源大語(yǔ)言模型LLaMA2,構(gòu)建并優(yōu)化推理引擎,在組委會(huì)提供的1萬(wàn)樣本數(shù)據(jù)集上實(shí)現(xiàn)盡可能高的推理吞吐量。該模型具有700億參數(shù),需要使用并行計(jì)算,因此該賽題還將考察參賽隊(duì)伍的并行優(yōu)化能力。組委會(huì)鼓勵(lì)參賽隊(duì)伍充分考慮自身集群的架構(gòu)特征,構(gòu)建定制的高性能推理引擎。此外,為了防止參賽隊(duì)伍僅關(guān)注低精度優(yōu)化,只允許使用FP16或BF16精度。參賽學(xué)生需要在他們提交的優(yōu)化方案中,詳述推理過(guò)程、集群規(guī)格、優(yōu)化方法以及取得的結(jié)果。要想在這道賽題中取得佳績(jī),各參賽隊(duì)伍需要充分了解并掌握大模型常見(jiàn)的并行方法,并學(xué)習(xí)使用各種技術(shù)來(lái)優(yōu)化推理過(guò)程。
大模型推理賽題專家、智源研究院大模型行業(yè)應(yīng)用負(fù)責(zé)人周華表示,LLaMA2-70B大模型基于Transformer,其中自注意力模塊對(duì)計(jì)算存儲(chǔ)資源消耗最大,在算法軟件實(shí)現(xiàn)、算子實(shí)現(xiàn),甚至軟硬件結(jié)合等多個(gè)層次可以進(jìn)行大量的優(yōu)化工作。大賽鼓勵(lì)參賽隊(duì)伍做更多更深的優(yōu)化工作,將大模型的推理性能提升到極致,也期待競(jìng)賽中涌現(xiàn)出令人驚喜的高質(zhì)量創(chuàng)新成果,未來(lái)頂尖人工智能科學(xué)家也許就來(lái)自本次參賽隊(duì)伍當(dāng)中。
大模型推理優(yōu)化賽題,不但可以讓參賽選手掌握大模型推理引擎的構(gòu)建,探索更加有效的并行策略和推理加速技術(shù),降低大模型應(yīng)用落地難度,激發(fā)他們深度參與人工智能產(chǎn)業(yè)的熱情,同時(shí)也預(yù)示著超級(jí)計(jì)算領(lǐng)域正在主動(dòng)擁抱大模型,并將在大模型應(yīng)用中發(fā)揮重要作用。
ASC世界大學(xué)生超級(jí)計(jì)算機(jī)競(jìng)賽(ASC Student Supercomputer Challenge)由中國(guó)發(fā)起組織,并得到亞洲及歐美相關(guān)專家和機(jī)構(gòu)支持,旨在通過(guò)大賽平臺(tái)推動(dòng)各國(guó)及地區(qū)間超算青年人才交流和培養(yǎng),提升超算應(yīng)用水平和研發(fā)能力,發(fā)揮超算的科技驅(qū)動(dòng)力,促進(jìn)科技與產(chǎn)業(yè)創(chuàng)新。ASC超算大賽迄今已舉行至第十一屆,吸引來(lái)自全球六大洲上萬(wàn)名大學(xué)生報(bào)名參賽,是全球最大規(guī)模的大學(xué)生超算競(jìng)賽。
