——ISC12國(guó)際大學(xué)生超級(jí)計(jì)算機(jī)競(jìng)賽“最高計(jì)算性能獎(jiǎng)”方案剖析

　　編者按：在不久前閉幕的ISC12國(guó)際大學(xué)生超級(jí)計(jì)算機(jī)競(jìng)賽中，由浪潮集團(tuán)組織支持的清華大學(xué)、國(guó)防科學(xué)技術(shù)大學(xué)參賽隊(duì)分別勇奪競(jìng)賽總冠軍和最高計(jì)算性能獎(jiǎng)，優(yōu)異成績(jī)震驚國(guó)際超算界。作為此次國(guó)內(nèi)外競(jìng)賽設(shè)備、技術(shù)的負(fù)責(zé)人，浪潮高性能計(jì)算技術(shù)專家王渭巍為我們深度剖析“最高計(jì)算性能獎(jiǎng)”獲得者國(guó)防科學(xué)技術(shù)大學(xué)的比賽策略與方案。

　　在2012年6月20日于德國(guó)漢堡閉幕的ISC12國(guó)際大學(xué)生超級(jí)計(jì)算競(jìng)賽中，國(guó)防科學(xué)技術(shù)大學(xué)代表隊(duì)采用CPU-GPU異構(gòu)架構(gòu)計(jì)算集群方案，力挫美國(guó)科羅拉多大學(xué)、紐約州立大學(xué)石溪分校、德國(guó)卡爾斯魯厄理工學(xué)院和清華大學(xué)參賽隊(duì)，勇奪“最高計(jì)算性能獎(jiǎng)”。國(guó)防科學(xué)技術(shù)大學(xué)也是唯一一支采用CPU-GPU異構(gòu)架構(gòu)搭建計(jì)算集群的參賽隊(duì)，雙精度計(jì)算峰值5.5T左右，計(jì)算核心數(shù)量達(dá)到3168個(gè)(含GPU計(jì)算核心)。

　　在上一篇的稿件里，我已介紹過(guò)ISC12國(guó)際大學(xué)生超級(jí)計(jì)算機(jī)競(jìng)賽的參賽隊(duì)實(shí)力：美國(guó)科羅拉多大學(xué)連續(xù)5年參加了美國(guó)的SC國(guó)際大學(xué)生超級(jí)計(jì)算機(jī)競(jìng)賽，并曾在2009奪得過(guò)Linpack冠軍;紐約州立大學(xué)石溪分校從2007年就開(kāi)始參加SC大學(xué)生超級(jí)計(jì)算機(jī)競(jìng)賽，曾獲得過(guò)2009年SC比賽的冠軍;德國(guó)卡爾斯魯厄理工學(xué)院(KIT)計(jì)算機(jī)系在德國(guó)排名第一，號(hào)稱“德國(guó)MIT”，他們的超級(jí)計(jì)算機(jī)教學(xué)和科研能力獨(dú)步歐洲;國(guó)防科學(xué)技術(shù)大學(xué)設(shè)有系統(tǒng)的超級(jí)計(jì)算機(jī)教學(xué)和比賽的體系、機(jī)制，擁有良好的人才梯隊(duì)和比賽經(jīng)驗(yàn)，2011年他們?cè)谖餮艌D的SC超級(jí)計(jì)算機(jī)競(jìng)賽中僅以0.5分之差屈居亞軍;清華大學(xué)則是國(guó)內(nèi)的頂尖學(xué)府，設(shè)有與浪潮共建的超算中心，有豐富的超級(jí)計(jì)算機(jī)教學(xué)、應(yīng)用研究沉淀。

　　在這次競(jìng)賽中，所有參賽隊(duì)都想為自己的祖國(guó)、母校贏得榮譽(yù)，尤其是德國(guó)東道主德國(guó)卡爾斯魯厄理工學(xué)院，他們更是抱著必勝的信心，欲將ISC12國(guó)際大學(xué)生超級(jí)計(jì)算機(jī)競(jìng)賽所有獎(jiǎng)項(xiàng)一覽懷中。他們?cè)谫惽肮剂怂麄冊(cè)趯?shí)驗(yàn)室里面能測(cè)到0.97GFlops/W性能。而在比賽當(dāng)天，他們以3000W內(nèi)實(shí)現(xiàn)13個(gè)雙路CPU節(jié)點(diǎn)集群系統(tǒng)亮相時(shí)，令其他對(duì)手大吃一驚。按照每瓦0.97GFlops性能計(jì)算，德國(guó)卡爾斯魯厄理工學(xué)院計(jì)算峰值是2.995萬(wàn)億次，另外科羅拉多大學(xué)也達(dá)到了2.4萬(wàn)億次，而清華大學(xué)是2.3萬(wàn)億次，國(guó)防科學(xué)技術(shù)大學(xué)的CPU計(jì)算峰值為1.5萬(wàn)億次，GPU4萬(wàn)億次。單純從CPU性能比，中國(guó)的清華大學(xué)、國(guó)防科學(xué)技術(shù)大學(xué)跟德國(guó)卡爾斯魯厄理工學(xué)院有相當(dāng)大的差距。媒體、超算業(yè)界人士都認(rèn)為德國(guó)卡爾斯魯厄理工學(xué)院會(huì)贏的比賽的冠軍，并且開(kāi)出了相關(guān)的賠率：

LINPACK最后成績(jī)與最后賠率預(yù)測(cè)對(duì)比

　　那么，國(guó)防科學(xué)技術(shù)大學(xué)是怎樣扭轉(zhuǎn)乾坤的呢?

　　在2011年參加美國(guó)西雅圖SC11的國(guó)際大學(xué)生超算競(jìng)賽時(shí)，國(guó)防科學(xué)技術(shù)大學(xué)就采用了CPU-GPU 異構(gòu)計(jì)算集群方案，但當(dāng)時(shí)異構(gòu)方案龐大的代碼移植工作量，給他們?cè)斐闪溯^大困擾。而在本次ISC12國(guó)際大學(xué)生超級(jí)計(jì)算機(jī)競(jìng)賽中，除了常規(guī)試題外，還設(shè)有兩個(gè)神秘應(yīng)用，考慮到競(jìng)賽組委會(huì)傾向于在傳統(tǒng)CPU上組織競(jìng)賽命題，且在比賽現(xiàn)場(chǎng)做異構(gòu)代碼移植工作，會(huì)極大擠占運(yùn)行其他應(yīng)用的時(shí)間，無(wú)疑是不合算的。因此，國(guó)防科學(xué)技術(shù)大學(xué)代表隊(duì)賽前就擬定此次競(jìng)賽策略是在最高計(jì)算峰值和計(jì)算通用性上取得平衡，沖擊最高計(jì)算性能獎(jiǎng)，同時(shí)在應(yīng)用計(jì)算部分保持相當(dāng)競(jìng)爭(zhēng)力。

　　而在具體的競(jìng)賽戰(zhàn)術(shù)設(shè)計(jì)中，國(guó)防科學(xué)技術(shù)大學(xué)參賽隊(duì)同學(xué)仔細(xì)考慮和討論，為了達(dá)成既得到最高性能，又兼顧代碼運(yùn)行兼容性的目的，他們決定采用繼續(xù)采用CPU-GPU異構(gòu)架構(gòu)搭建比賽集群，沖擊計(jì)算性能最高獎(jiǎng)：在浪潮最新發(fā)布的NF5280M3節(jié)點(diǎn)服務(wù)器上采取CPU+GPU異構(gòu)計(jì)算形式，構(gòu)建異構(gòu)集群，其中浪潮NF5280M3配置了兩顆最新的 E5-2650 CPU、8條8G DDR3內(nèi)存、一塊SAS硬盤(pán)(浪潮NF5280M3是基于通用目的的高性能服務(wù)器，針對(duì)高性能計(jì)算領(lǐng)域日益重要的異構(gòu)計(jì)算，特意設(shè)計(jì)了空間和風(fēng)道，可以支持兩塊GPU的異構(gòu)計(jì)算)，在此基礎(chǔ)上，每臺(tái)服務(wù)器上搭配一塊雙精度計(jì)算峰值在665GFlops 的NVIDIA Fermi M2090(而不是兩塊)。為了有效解決散熱和系統(tǒng)功耗，他們現(xiàn)場(chǎng)又對(duì)風(fēng)道做了改善，六套搭載GPU卡的浪潮NF5280M3在3000W的競(jìng)賽總功率限制下，運(yùn)行HPL時(shí)系統(tǒng)功耗峰值控制在2950W左右;而在具體的集群系統(tǒng)環(huán)境中，國(guó)防科學(xué)技術(shù)大學(xué)采用RHEL 6.1、CUDA4.0和針對(duì)FERMI的HPL測(cè)試包，賽前在他們實(shí)驗(yàn)室機(jī)房同樣配置的集群最高可以得到接近2.8T的實(shí)測(cè)峰值，但由于比賽現(xiàn)場(chǎng)的散熱條件有限，選手們反復(fù)運(yùn)行只能跑到2.65T左右，但這樣也足以笑傲群雄，力壓第二名德國(guó)卡爾斯魯厄理工學(xué)院 2.3T的峰值，成功拿到了最高計(jì)算性能獎(jiǎng)。

　　我個(gè)人認(rèn)為清華大學(xué)和國(guó)防科學(xué)技術(shù)大學(xué)參賽隊(duì)在國(guó)際賽場(chǎng)上取得好成績(jī)與他們準(zhǔn)備充分、團(tuán)隊(duì)配合、具備拼搏精神和天賦以及浪潮提供高品質(zhì)的硬件競(jìng)賽平臺(tái)密切相關(guān)。如國(guó)家863重點(diǎn)專項(xiàng)專家組組長(zhǎng)錢(qián)德沛教授在首屆中國(guó)大學(xué)生超級(jí)計(jì)算機(jī)競(jìng)賽開(kāi)幕式上所講：“我要感謝浪潮所起的作用。回顧幾十年來(lái)，浪潮參與了國(guó)家高性能計(jì)算的工作，同時(shí)浪潮集團(tuán)與科研人員密切合作提高了技術(shù)水平，掌握了高超技術(shù)實(shí)力。今天浪潮有實(shí)力來(lái)組織支持這樣一個(gè)競(jìng)賽表明浪潮已經(jīng)躋身于世界IT企業(yè)。”

　　作為國(guó)內(nèi)高性能計(jì)算的領(lǐng)軍企業(yè)，浪潮秉承應(yīng)用、創(chuàng)新的發(fā)展理念，依托高效能服務(wù)器與存儲(chǔ)技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室、Inspur-Intel中國(guó)并行計(jì)算聯(lián)合實(shí)驗(yàn)室以及與業(yè)內(nèi)頂尖的廠商、行業(yè)應(yīng)用專家等合作，不僅持續(xù)推進(jìn)中國(guó)超級(jí)計(jì)算機(jī)產(chǎn)品與技術(shù)的發(fā)展，也通過(guò)組織大學(xué)生超級(jí)計(jì)算機(jī)競(jìng)賽這樣的活動(dòng)，推進(jìn)中國(guó)超級(jí)計(jì)算機(jī)人才和應(yīng)用的發(fā)展進(jìn)程。在參加本次競(jìng)賽的同學(xué)們?yōu)閲?guó)家、母校贏得榮譽(yù)的同時(shí)，我也為我所在的浪潮感到驕傲。