[转贴]比世界纪录快3倍 阿里云377秒完成100TB数据排序

duan

10月28日，Sort Benchmark在官方网站公布了2015年排序竞赛的最终成绩。阿里云用不到7分钟（377秒）就完成了100TB的数据排序，打破了Apache Spark的纪录23.4分钟。Sort Benchmark是全球科技公司的计算奥运会，更早之前Hadoop的记录是72分钟。

全球大数据计算性能变迁史

Sort Benchmark的排序竞赛包含4项比赛，其中GraySort和MinuteSort主要评测计算系统的规模和效率，是4项比赛中含金量最高的两项。每一项比赛又分通用目的排序（Daytona）和专用目的排序（Indy）两个类别。阿里云飞天分布式计算系统，在这两项重量级比赛中打破了全部4项世界纪录。
GraySort评测的是超大规模数据量排序的速度。飞天用了377秒对100TB数据完成排序，也就是说1分钟能够完成15.9TB的数据排序。去年Apache Spark成绩为4.35TB/分钟。MinuteSort评测的是系统在1分钟内能够完成排序的数据量。飞天用1分钟完成了对7.7TB数据的排序，去年冠军三星为3.7TB。

阿里云首席架构师唐洪表示，排序是最基础的计算问题。100TB排序，是把1万亿条无规律的100字节纪录，严格按照从小到大的顺序排序，考验分布式系统中存储、调度、通信等各个子系统的性能，能够反映出一个平台的整体计算能力。GraySort和MinuteSort这两项比赛，充分证明了阿里云在计算方面的核心能力。“未来视频、音频数据、生物数据等非结构化数据将爆发式增长，我们需要在最短的时间、用最小的资源计算准确。面对大数据，如何算得快、算得准、算得起？这是未来云计算的核心能力。”
Sort Benchmark是一个专门从事排序基准评估的非盈利机构，该机构每年都会举办一次国际顶级排序基准评估比赛，被认为是计算界的奥运会。全球顶尖公司和学术机构都会带着他们最新的研究成果来参加，以评估他们的研究成果。