首页 > IT业界 > 正文

2020双11,阿里落地了全球最大规模云原生实践

2020-11-16 10:19:41  来源:互联网

摘要:2020双11,天猫又创造了新的纪录:销售额达到历史新高4982亿、订单峰值达到创纪录的58 3万笔 秒。
关键词: 阿里
\

2020双11,天猫又创造了新的纪录:销售额达到历史新高4982亿、订单峰值达到创纪录的58.3万笔/秒。可以说,双11一直在推动着阿里云计算技术的创新和发展。2020年11月12日,阿里巴巴CTO程立表示,本次双11阿里巴巴完成了全球最大规模的云原生实践。这意味着继去年双11核心系统上云后,阿里巴巴进一步全面云原生化,底层硬核技术升级带来了更强计算力以及极致性价比——以支撑峰值为例,每万笔峰值交易的IT成本比4年前下降了80%!

到底“云原生”有什么价值?阿里云云原生应用平台负责人丁宇强调:云原生将云计算的技术红利释放到极致,成为业务创新的支柱引擎。例如通过过去4年的云原生升级,天猫“双11”实现了万笔交易成本降低了80%,也就意味着支撑万笔交易从之前的100元成本降低到20元,这是资源效率的极大提升。此外,云原生让天猫“双11”的研发运维效率平均增效10%以上、规模化应用的交付效率提升1倍,这就意味着在规定时间内抓住更多业务机遇。

简单理解,云原生就是通过大规模采用Docker容器、Kubernetes容器集群管理以及ServiceMesh服务网格等云原生技术,更高效地利用和统一管理各类云计算资源,降低计算成本、提高研发效率、加速应用交付效率。云原生技术在上层云应用以及下层各类云计算技术和资源之间加了一个标准化适配层,向上统一了云应用的技术,向下纳管了各类云计算技术及资源,最大的好处就是释放了前期各类不同技术方案下的云计算底层资源的技术红利。

“云原生是释放云计算红利的最短路径,也将成为全面上云的新底座。除了支撑双11之外,这些双11的同款技术也通过阿里云支撑全社会,成为数字新基建的基础设施。”丁宇强调。

最大规模云原生实践

阿里巴巴十分重视云原生技术及实践,迄今不仅拥有15年的丰富实践和技术投入,更在2020年9月的杭州云栖大会上宣布成立了云原生技术委员会,云原生技术委员会将大力推动阿里经济体全面云原生化,并沉淀阿里巴巴10多年的云原生实践,对外赋能数百万家企业进行云原生改造。云原生技术委员会的成立,可以说是阿里巴巴对于云原生的“All In”。

在云原生技术及实践方面:阿里从2007年就开始落地互联网的分布式架构,也是今天常说的微服务;2009年成立了阿里云,自研飞天操作系统;2011年开始落地容器化技术、调度技术,进而提升资源利用率、降低运维成本;2013年阿里业务链上小型机全面下线,意味着分布式架构完全落地;2015年开始全面采用阿里云弹性支撑“双11”;2017年实现了在线和离线调度的打通,开始落实行业领先的混部技术,进一步提升资源利用效率、降低IT成本;2019年,实现了核心系统100%上云,即核心业务架构全面跑在阿里云的公共云上,并部署了超过200万个容器,这是全球最大规模的云原生实践;2020年,阿里巴巴双11核心系统全面使用云原生产品,实现了全面的云原生化。

从2009年首次上线核心中间件系统,到2011年淘宝天猫开始使用容器调度技术,再到推出自研云原生硬件神龙服务器、云原生数据库PolarDB等,阿里的云原生技术经过不断打磨,达到了新高:2019年双11,阿里电商核心系统100%上云,集群的规模超过百万容器,单容器集群节点数量过万,数据库的峰值超过 54 万笔每秒,对应 8700 万查询每秒,而实时计算每秒峰值处理消息超过 25 亿条,消息系统 RocketMQ 峰值处理了超过每秒 1.5 亿条消息。

丁宇透露,2020年双11又创造了诸多“云原生的第一次”,包括:云原生实时数仓首次在核心业务场景落地,提供毫秒级海量数据处理能力;核心业务首次大规模应用Serverless,弹性伸缩性提升10倍以上;首次大规模应用云原生数据库PolarDB,性能提升50%;超大规模容器服务ACK可提供1小时百万容器弹性能力……

四大技术突破与五个“最” 

由于阿里双11和阿里经济体的体量,阿里巴巴的云原生实践无愧于最大规模云原生实践,而阿里巴巴每年双11和阿里经济体规模的扩张,又让这个最大规模云原生实践每年都有新的突破,可谓没有“最大”只有“更大”。

丁宇强调,2020双11,阿里云使用了数十款云原生产品支持大促,大幅度提升了技术效率。2019年,阿里电商核心系统百分之百上云,主要是IaaS层全面运行在公共云上,而2020年进一步向上层发展,将几十款技术切换到云原生产品上。这样带来的好处是采用了更现代化、更走在前沿的云原生理念和工具,更好提升了效率。特别是实现了过去自有技术与云的开放标准技术实现融合、技术路线统一、降低了技术投入,也带来整个开发效率、资源利用率和技术迭代效率的提升,大幅提升了生产力。

\

2020双11在四大核心技术方面,实现了规模和创新的双重突破,把技术能力转化为业务价值。

第一,2020年支撑“双11”的是全球最大规模容器集群,实现了百万规模容器和千万核的单机群能力,同时实现了服务网格技术和业务的解耦,也是全球最大Mesh集群用于支持“双11”,在此基础上实现了极致的弹性能力。

第二,国内最大的计算平台和顶级的实时计算能力。2020年“双11”的大数据平台批处理,单日数据计算量达到1.7EB,实时计算每秒30亿条。而2020年的一个进展是数据库全面切换到了云原生数据库,支持“双11”过程中将读写性能提高了50%,计算资源利用率提高了60%,这些都是通过切换到云原生带给整个“双11”和阿里集团的技术红利。

第三是云原生中间件,分布式应用架构技术首次实现了全面三位一体——自研技术、商用技术和社区标准技术的路线合并,例如2020“双11”的云原生中间件服务框架峰值,调用量就超过百亿QPS。

第四是核心业务首次规模化落地Serverless。Serverless的6个先进技术特性,包括全托管、免运维、极致弹性、无限容量、按需申请、按用计费等对于整个IT架构实现优化,为运维效率和弹性效率带来了10倍的提升,大幅度提升了“双11”的大促支撑效率和稳定性。

截止到2020年10月,阿里云原生实践实现了“五个最”:首先是最丰富的云原生产品家族,阿里云提供了300多款云原生产品,阿里云的云原生产品能力在Gartner相关报告中比肩AWS;其次是最全面的云原生开源贡献,阿里从2010年之前就开始大量投入到开源社区工作中,迄今已有近百款开源项目、形成完整的开源体系,并服务了百万开发者;第三是有着最广泛的云原生客户群体,阿里云在互联网、金融、制造、政府等多个领域多个行业中有大量云原生客户、达到了几十万规模,而丰富的客户场景也推动了阿里云原生产品的适应性和丰富性;第四是最大规模的云原生应用实践,沉淀了核心技术能力;第五是最高等级的全球云原生业界评级,包括阿里云连续2年国内唯一入选Gartner《竞争格局:公共云容器服务》报告、2019年容器调度混布弹性核心技术获得国家技术发明二等奖、高性能分布式中间件获得了浙江省科技进步二等奖、函数计算在云原生基金会2019年年度调查中获得国内第一的市场占有率评估、Serverless产品线在信通院测评报告中达到国内用户规模占比66%等。

释放云计算红利

作为云原生领域的领导者和实践者,阿里云对于云原生有着非常深刻的理解,阿里云认为今天“云原生是释放云计算红利的最短路径”,其中至少有三层意义:

云原生是云计算的再升级。今天业界流行的容器技术,其价值在于就是向下屏蔽和封装基础设施,对于异构硬件、异构环境,可抹平差异性,提供标准化的服务界面;向上能够支撑多种负载,包括所有的创新应用如微服务,有状态的应用如数据库以及大数据计算、基因计算、区块链等,所有的工作负载都可以运行在云原生体系上,实现更低的成本、更高的维护效率。同时,云原生还驱动了软硬一体化,包括零损耗容器网络,可以带来更好的算力。

云原生正在重塑整个软件生命周期。这对于整个行业来说是一次大变革,云原生带来了开放标准技术,推动了云计算的标准化,向上支撑了多种应用架构、工作负载,驱动多种场景向架构现代化演进;同时云原生还在进行水平延伸,包括延伸到企业的完整技术支撑体系,从开发、测试、上线、运维、监控、升级等全链条都在形成新的技术标准,进而带来更高的技术效率,以及高容错、可扩展等新特性。

云原生正在加速企业的数字化升级。今天诸如容器这样的云原生技术,能够给企业带来的什么价值呢?首先是基础设施的云化,能够更好的与各种云连接,或者更快迁移到云上,享受资源池化,获得更好弹性的能力;其次是核心技术的互联网化,把敏捷、分布式、可扩展等互联网技术红利带给企业和开发者。

通过架构现代化演进的多种场景,云原生把数据化、智能化的应用带给企业,再通过降本提效、快速迭代、智能运营,帮助企业实现商业创新,这是阿里云对于云原生的核心判断。

云原生的“完美日记”

从2011年迈入容器大门,到2019年双11阿里电商核心系统100%上云并部署了超过200万个容器,成为全球最大规模的云原生实践,再到2020年双11核心系统全面云原生化,阿里云正在重新定义下一个十年的云计算技术——云原生。

阿里巴巴自身就首先是云原生的用户。阿里王坚曾表示,从in-house的基础设施、定制化的平台能力、到通用的云平台,从Cloud Hosting到Cloud Native,这个过程面临着巨大的挑战。2011年阿里云开始迈进容器大门,2013年Docker问世,阿里云容器迅速融合其先进理念,并在2015年推进集团业务全面的容器化演进。2019 年,阿里实现了核心交易系统100%上云并完成了全球最大规模的云原生实践,让阿里和客户真正坐上了同一架飞机。

通过上云和云原生化,最大化的让阿里巴巴的业务使用最先进的云技术,通过技术架构的演进使业务更好的聚焦于自身的业务发展而无须关注通用底层技术,让业务研发效率提升、迭代速度更快,从而达成了技术人员的真正目标。随着阿里巴巴自身应用云原生技术的成功,也在通过阿里云把阿里巴巴实践成功过的云原生技术带来广大企业,打通数字化转型落地的“最后一公里”。

在本次双11前后,完美日记获得了市场极大的关注度。2020年10月30日,完美日记的母公司逸仙电商正式递交了美股招股书,计划在纽交所上市。上市后,逸仙电商将成为首家在美股上市的中国美妆平台型公司,而旗下完美日记也有望成为首个登陆纽交所的国货美妆品牌。完美日记在成为“国货彩妆黑马”的同时,也是阿里云原生技术的积极采用者。

此前,完美日记在应对大促等活动时的机器扩容方面,为了保持系统的稳定性,运维人员就需要在每晚23:00点以后通过人工操作进行扩容,然后测试人员进行测试,平均每次扩容都需要半个小时以上。由于双11期间处于大流量、高并发的场景,整个运维人员对服务器维护、版本迭代、数据库运维等都必须格外谨慎,稍有不慎就会导致线上生产事故,服务器运维压力巨大。

2019年双11之后,完美日记就开始针对性测试阿里云容器服务ACK,并开始容器化改造。之所以选择容器技术,是因为完美日记要构建一套现代化IT系统以满足快速变化的需求和挖掘更多的数据价值。一方面,完美日记对业务的快速创新以及现有业务的实时性和交互性需求都在不断地增长;另一方面,完美日记对数据的重视程度也在不断提高,尤其是用户数据的重要性——如何提供优于竞争对手的服务和用户体验,如何合理、有效地发掘更多的数据价值,成为完美日记的迫切需求。

除了采用阿里云容器服务ACK之外,完美日记在一开始进行容器化改造时就使用了阿里云镜像企业版ACR EE,其优势在于比采用开源harbor自建方式要稳定与低成本,并发性能也比自建harbor要高。另外,完美日记也通过阿里云的应用实时监控系统ARMS Prometheus进行系统监控并有针对性地解决问题,相比采用开源的Prometheus技术,ARMS还可以解决整个K8S底层监控(Prometheus)的维护和成本高的难题。

经过,容器化改造之后,完美日记的整个系统“轻松了很多”。2020年1月初,在切换到K8S正式环境后,扩容时间只需要90秒左右,节约了6~8倍时间,减少了一名服务器运维人员。此外,根据运营节奏进行扩容,完美日记的服务器扩容成本节约70%~90%;同时,部署效率大幅提升,可根据文件模板秒级创建一个服务,部署时间减少90%以上。

除了完美日记外,还有大量企业采用了阿里云的云原生技术,大幅提升企业效率。2020双11期间,菜鸟运用云原生实时数仓提升系统效率,IT成本下降70%,整体数据链路从小时级同步直接优化到3分钟;中国邮政引入云原生分布式数据库PolarDB-X,亿万包裹过境,系统稳定支撑双11;申通快递将核心系统搬到阿里云上,使用云原生数据库PolarDB替代传统数据库,并进行应用容器化和微服务改造,日均可处理三千万订单,IT成本却降低了30%……

总结而言:2020阿里“双11”核心系统的全面云原生化,极大增强了业界采用云原生技术的信心,而阿里云对云原生技术的“All In”以及完整的云原生产品矩阵,加上整个阿里经济体的生态效应,将把云原生全速推进到数字新基建的“底座”。云原生将定义下一个十年的云计算基础设施,而阿里云已经先行一步布局了以云原生为代表的新基础设施,为未来十年的数字化转型打下了新的“地基”。


第三十八届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:chenjian

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。