国产数据库再破世界纪录!
10月22日,据国际事务处理性能委员会官网信息,在数据库“决策支持类”性能测试TPC-DS中,腾讯云数据库TDSQL以7260万分、37.52元同时刷新性能和性价比纪录,登顶世界第一。
TPC针对数据库各项性能推出的基准测试,被誉为数据库界的“奥林匹克”。去年,腾讯云TDSQL已经在数据库“事务处理类”性能测试TPC-C中刷新世界纪录。这标志着在数据库最核心的两个应用场景下,腾讯云TDSQL都取得了世界最佳性能纪录,成为“双榜”第一。
中国工程院院士郑纬民对此表示,国产数据库多次打破性能瓶颈,体现了国内基础软件持续打磨内功的决心,以及稳定输出技术能力的底蕴。
原国家科技部秘书长、党组成员、国际欧亚科学院院士张景安表示,数据库作为信息技术的基石,其性能与稳定性直接关系到各行各业的数字化转型进程。我国软件企业在两项国际标准测试中屡破纪录,标志着中国在数据库这一核心软件技术领域正迈向国际先进水平,有助于增强我国的国际科技竞争力。
计算性能飙升3.8倍,刷新性能与性价比纪录
TPC-DS是一个针对数据库管理系统分析性能的基准测试。它模拟一个大型零售商销售数据的在线数据分析(OLAP)场景,通过 99 个不同类型的分析任务,考察底层数据库的处理耗时、并发性能和导数性能等指标,是数据库产品分析处理能力和技术先进性的金标准。
腾讯云数据库研发总经理潘安群介绍,此次腾讯云参与打榜的TPC-DS 测试数据量级达10TB,相当于10亿页电子书,包含销售纪录、退货记录、时间信息等17项维度的24张表格。其中,最大的一张表高达288亿行数据。
在海量数据中,腾讯云TDSQL需要历经数据导入、单任务计算、多任务并行计算、数据变更等多项测试,关联十几个“亿级”表格,联合计算出例如“销量排名前十的商品从何时开始网店销量超过门店”等信息。在这个过程中,TPC甚至还会在数据变更时随机销毁数据增加难度。
结果显示,腾讯云TDSQL项测试耗时均大幅领先榜单其他厂商,99个复杂分析任务单任务平均耗时4秒以内,领先榜单第二名一倍;多任务并行计算平均耗时8秒以内,领先两倍,以7260万分的性能评分,将决策支持类榜单纪录提升3.8倍。
在复杂任务处理能力大幅提升的基础上,TDSQL将每1000评分的价格相比同类产品减少1/3,同时刷新TPC-DS性能与性价比纪录。
三大自研技术能力,突破性能瓶颈
联机分析处理(OLAP)场景下,如何充分发挥每个算力单元的极致潜力,以及确保每个任务之间不等待和阻塞,一直是数据库领域的重点攻关方向。
潘安群介绍,腾讯云TDSQL在分布式交互、并行计算、单核极致性能三个方向深度自研,保障了计算从多核到多进程再到多节点,能充分并行无阻塞运行,实现了性能的大幅提升。
TDSQL通过自研MPP执行框架,优化了主流 OLAP 数据库应用“pull”模型存在的数据传输“拥堵”瓶颈,保证所有计算任务全速顺畅运行,通用性能提升40%。
而在性能无法线性跟随CPU核数增加的业界难题上,TDSQL通过自研并行执行框架,彻底去除并行进程间阻塞依赖,CPU 利用率提高至 95% 以上,能充分利用多核资源。
对于单核计算效率,TDSQL团队也有着极致追求。在以上并行框架的基础上,TDSQL 自研了列式存储和向量化执行引擎,在算法、结构、新一代CPU结合等方面深度优化单核任务执行效率,实现单核效率提升1倍以上。
双榜第一,为产业发展筑牢底座
数据库世界性能榜单第一的每次易主,都标志着数据处理技术的向前推进。
去年,腾讯云数据库TDSQL顺利通过TPC-C基准测试,性能达到每分钟8.14亿笔交易(tpmC),打破世界纪录。期间,TDSQL持续稳定运行这一超大规模集群,实现8小时无抖动,保障了超过8600亿总事务、4万亿条订单详细信息不出错。
“TPC-C的特点是多、稳、快、高频小任务,考验的是高并发场景下数据库的极致性能和稳定性;TPC-DS特点则是少、快、大、低频大任务,考验的是复杂任务场景下数据库的综合能力。在两个核心场景下,腾讯云TDSQL都实现了性能纪录的极大突破。”潘安群说。
双榜第一也为产业发展筑牢了更强的基座。据腾讯云数据库总经理王义成介绍,腾讯云数据库TDSQL已形成了金融级分布式、云原生、分析型等多引擎融合的完整数据库产品体系,能高效应对OLTP、OLAP、HTAP等多样化的计算场景,满足企业多样化的国产数据管理需求。
在腾讯云TDSQL的助力下,数字广东粤省事实现流程再造和决策优化,实现民众少跑路,数据多跑路;“第七次全国人口普查”以“OLTP+OLAP”技术融合架构支持了十亿级用户数据、七百万个终端和百万级峰值TPS。
除此之外,这些优化能力还应用在了腾讯云大数据TChouse(云数据仓库)上,与芯片、服务器、操作系统、云底座一同构建起核心领域自研产品体系,已具备软硬一体的全栈融合创新能力。
雷峰网(公众号:雷峰网)
雷峰网版权文章,未经授权禁止转载。