英特尔帮衬,阿里云大数据平台创世界纪录

国庆长假期间,一则关于阿里巴巴自研数据库OceanBase击败世界头号数据库厂商Oracle的消息引起了热议,源起是OceanBase提交的一份TPC-C测试结果远远超过了Oracle,荣登榜首。实际上,这并不是阿里巴巴首次在TPC测试中取得优异表现。此前的云栖大会上,阿里云就曾对外宣布,在国际大数据性能基准测试TPCx-BB中,阿里云MaxCompute与飞天AI平台核心引擎PAI以100TB的数据规模创造世界纪录。虽然分属于TPC不同的测试,但结果却一样亮眼,充分展示了阿里云的技术实力,以及其整合合作伙伴的技术的能力,比如阿里云MaxCompute和PAI破纪录就离不开英特尔的鼎力支持。
 
TPC( Transaction Processing Performance Council,事务处理性能委员会 )是由数10家会员公司创建的非盈利组织,它的主要职责是制定商务应用基准程序(Benchmark)的标准规范、性能和价格度量,并管理测试结果的发布。目前,TPC已经推出了多套基准程序,面向事务处理(OLTP)的基准程序TPC-C(OceanBase提交的就是这个测试结果),和MaxCompute提交的面向大数据的基准程序TPCx-BB等都在这些基准程序之列。
 
其中的TPCx-BB是TPC制定的衡量大数据系统的性能基准测试标准TPC Benchmark Express-BigBench的简称, TPCx-BB通过最常用大数据应用场景来全面衡量系统软硬件性能。由于测试结果可以全面准确地反映大数据系统端到端的整体运行性能,因此也是最终客户选择最佳软硬件平台的重要参考标准。
 
此次测试的MaxCompute是阿里云的一项大数据计算服务,属于阿里飞天操作系统的重要组成部分,能提供快速、完全托管的PB级数据仓库解决方案,从而经济、高效地分析和处理海量数据,并支持SQL、MapReduce、Graph等多种计算模型。
 
据阿里云计算平台研究员、高级总监关涛介绍,阿里云从2015年开始进行各种各样的Benchmark测试。最初采用的是Sort benchmark,测试其在大规模数据集上进行排序的性能。后来阿里云发现,只做排序无法代表越来越丰富的用户作业场景,最后才选择了BigBench。
 
“之所以选择BigBench,一方面在于BigBench 作为TPC下属组织,相对比较权威;其次,BigBench中既包含了各种类型的工作负载,既有大数据的工作负载,也包括了机器学习的工作负载;既包含了结构化数据也包含了非结构化的数据。它要求提交的是一个非常丰富的测试结果,有30种不同的维度基准联合来测评,可以从不同维度来分析。”关涛表示。
 
而阿里云之所以要进行上述测试,关涛解释说,其目的是想以测试为抓手优化阿里云的系统,同时,也希望通过测试来体现阿里云的性能和性价比。
 
最后的结果也的确达到了预期,阿里云提交的MaxCompute的测试结果表明,通过持续的优化,MaxCompute表现非常优秀:是全球唯一一家通过100TB测试的系统。由于是唯一通过100TB测试的系统,为了方便跟其他系统对比,阿里云又分别在30TB、10TB级别上进行测试。结果表明,和第二名的对比,阿里云MaxCompute的性能快一倍的同时,成本大概可以降低一半。
【声明】:芜湖站长网内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。

相关文章