十一月 112016
 

上海2016年11月11日電 /美通社/ -- 11月10日,具有計算奧運會之稱的Sort Benchmark全球排序競賽公佈2016年最終成績,騰訊雲大數據聯合團隊用時不到99秒(98.8秒)就完成100TB的數據排序,打破阿里雲去年創造的329秒的紀錄。在更早前,百度創造的紀錄是716秒,Hadoop的紀錄是4222秒。

在這次競賽中,騰訊雲數智分佈式計算平台,奪得Sort Benchmark大賽GraySort和MinuteSort的冠軍,總共創造四項世界紀錄,將去年阿里雲的紀錄整體提高2倍到5倍。騰訊名列全球大數據第一梯隊領軍企業,這也是全球大數據性能進化史的重要里程碑。

全球大數據性能進化史
全球大數據性能進化史

每年全球頂尖公司和學術機構都會來參加該賽事,以評估軟硬件系統架構能力及最新研究成果。這項賽事包括四項比賽,騰訊雲大數據聯合團隊參加的是含金量最高的GraySort和MinuteSort兩項排序競賽,重點評測大規模分佈式系統的軟硬件架構能力及平台的計算效率,以上兩項比賽均包括Indy(專用目的排序)和Daytona(通用目的排序)兩個子項。數智一舉奪得上述四個子項的冠軍,總體將去年的紀錄提高2倍到5倍。

GraySort競賽比拚的是如何在最短的時間內,將總共100TB,一共1萬億條無序的100字節紀錄,按照從小到大的順序進行排序。數智用時98.8秒完成100TB的數據排序,即每分鐘完成60.7TB的數據排序,去年冠軍的紀錄為18.2TB/分鐘。MinuteSort競賽,比拚的是在1分鐘之內能夠完成多少數據量的排序。數智的成績為1分鐘完成55TB的排序,去年冠軍的紀錄是11TB,數智將這一數據量提升5倍。

Sort Benchmark四項世界紀錄對比
Sort Benchmark四項世界紀錄對比

Sort Benchmark通過排序競賽考量一家公司或機構大規模計算能力的綜合實力,通過排序這個最基本的計算問題,不僅全面評測分佈式系統軟件架構能力(如海量數據分佈式存儲、計算任務切片調度、節點通信協調同步、數據計算監控容災等性能),也評測了硬件架構能力(如服務器硬件選配、網絡架構調優、IDC規劃建設能力等)。在這次排序競賽中,騰訊雲大數據聯合團隊在基礎架構上採用了512台IBM的OpenPOWER服務器和邁絡思公司的100Gb互聯技術,這也讓騰訊雲大數據產品的性能取得進一步提升。

騰訊雲副總裁、騰訊數據平台部總經理蔣傑表示,全球企業正在進入企業數據和社會數據的全融合時代,從浩瀚的大數據中尋找新業務航向,甚至建立全新的商業模式,正在成為這個時代企業的生存和發展命題,騰訊雲全面開放騰訊18年海量大數據處理經驗,為企業在最短的時間內,用最少的資源提供精準的計算,建立核心商業競爭優勢。

此次參賽的騰訊雲大數據聯合團隊由騰訊雲存儲產品中心、騰訊數據平台部組成,這個團隊在大數據技術和應用管理上有非常豐富的實踐經驗,尤其是騰訊數據平台部一直在管理的騰訊大數據集群,是世界上最大的大數據集群之一。此前,這個團隊一直苦練內功,多年技術積累讓他們在全球計算奧運會上取得非常矚目的成績。

在對微信每天160億級別的多維分析場景中,數智能夠做到6秒返回結果;數智是騰訊雲在互聯網海量數據處理經驗之上,結合開源Hadoop生態和自研組件服務,對外提供的一站式數據分析與挖掘平台,已在政府、傳統企業和互聯網企業中被深度應用。

業內人士評價,今年評測的結果顯示,騰訊在大數據的技術積累超出了業界想像,未來騰訊持續向中國企業輸出大數據和雲計算能力,將會讓中國更大範圍的參與全球的商業競爭,提升中國經濟在全球經濟的市場佔有率。

Sort Benchmark排序競賽官網公佈的結果:http://sortbenchmark.org/

圖片 - http://photos.prnasia.com/prnh/20161110/0861611959-a
圖片 - http://photos.prnasia.com/prnh/20161110/0861611959-b