2016年11月10日，有“計算界奧運(yùn)會”之稱的國際著名Sort Benchmark 全球數(shù)據(jù)排序大賽(http://sortbenchmark.org/)，官網(wǎng)公布了2016年全球大數(shù)據(jù)排序性能評測大賽結(jié)果。南京大學(xué)計算機(jī)科學(xué)與技術(shù)系PASA大數(shù)據(jù)實驗室(http://pasa-bigdata.nju.edu.cn)聯(lián)合阿里巴巴和美國Databricks公司組成的參賽團(tuán)隊NADSort，經(jīng)過幾個月的深度研究和持續(xù)努力，擊敗了多個世界級參賽團(tuán)隊，刷新了大賽之前的世界紀(jì)錄，榮獲2016年CloudSort大數(shù)據(jù)排序世界冠軍。

　　Sort Benchmark是著名的圖靈獎獲得者Jim Gray發(fā)起組織的全球性數(shù)據(jù)排序基準(zhǔn)性能評測大賽，自1987年開始每年舉辦一次，已經(jīng)持續(xù)組辦了30年。每年都有眾多全球頂尖公司和學(xué)術(shù)機(jī)構(gòu)參加該賽事，以評估軟硬件系統(tǒng)架構(gòu)能力及最新研究成果。著名的大數(shù)據(jù)計算系統(tǒng)Apache Hadoop(2008年)和Apache Spark(2014年)都曾在該基準(zhǔn)評測賽事中保持世界記錄。大賽分多種不同性能指標(biāo)的評測競賽項目。近幾年來，隨著全球大數(shù)據(jù)技術(shù)發(fā)展熱潮的來臨，大賽主要面向大規(guī)模數(shù)據(jù)的排序性能測試競賽，設(shè)置了排序速度、成本、能耗等不同性能指標(biāo)下的大規(guī)模數(shù)據(jù)排序評測競賽項目。

　　本次NADSort團(tuán)隊所參加的是基于公有云的CloudSort評測競賽項目。CloudSort又被稱為“云計算效率之爭”，該項目比拼的是完成100TB數(shù)據(jù)排序誰花費(fèi)更少，也是Sort Benchmark的各項比賽當(dāng)中最具現(xiàn)實意義的項目。 NADSort團(tuán)隊使用了阿里云ECS，并按照公開的按量付費(fèi)價格來比拼性價比。排序計算平臺由394個阿里云虛擬服務(wù)器節(jié)點(diǎn)配置構(gòu)成計算集群，使用Apache Spark大數(shù)據(jù)計算平臺，在大規(guī)模并行排序算法以及Spark系統(tǒng)底層進(jìn)行了大量的優(yōu)化，以盡可能提高排序計算性能并降低存儲資源開銷，最終在阿里云平臺上以144美元的成本完成100TB標(biāo)準(zhǔn)數(shù)據(jù)集的排序處理，創(chuàng)下了每TB數(shù)據(jù)排序1.44美元成本的最新世界紀(jì)錄，比2014年奪得冠軍的加州大學(xué)圣地亞哥分校TritonSort團(tuán)隊每TB數(shù)據(jù)4.51美元的成本降低了近70%。

　　NADSort團(tuán)隊由南京大學(xué)(Nanjing University)PASA大數(shù)據(jù)實驗室、阿里巴巴(Alibaba)，以及美國Databricks公司技術(shù)人員聯(lián)合組成(Databricks是Spark商業(yè)化公司，由美國伯克利大學(xué)AMP實驗室著名的Spark大數(shù)據(jù)處理系統(tǒng)多位創(chuàng)始人聯(lián)合創(chuàng)立)。

　　本次NADSort團(tuán)隊中PASA大數(shù)據(jù)實驗室的參與人員為王千同學(xué)、顧榮同學(xué)、以及黃宜華老師。