背景介绍
2015年12月,InfoQ的编辑魏星邀请作者撰写一篇关于中国公有云服务发展状况的文章。因为作者个人对公有云这个领域一直抱有很大的兴趣,便贸然答应了下来。在这篇文章的准备过程中,作者系统地阅读了国内较为知名的几份云计算白皮书[1,2,3]。作者发现这些报告大都高瞻远瞩提纲挈领,缺乏对具体的公有云服务提供商的描述,未能让读者一窥国内公有云服务发展之真实面貌。在InfoQ的协调下,作者与国内多家公有云服务提供商的主要负责人进行了电话访谈,围绕团队建设、产品研发、服务运营这三个问题进行了讨论。除此之外,作者也在本文所探讨的所有公有云上都注册了账号,从用户体检的角度进行了一些小规模的测试。这篇文章的目的,便是从团队建设、产品研发、服务运营、用户体验等四个方面对中国的公有云服务发展状况做一个简要的综述。
根据美国国家标准技术研究院(NIST)的定义[4],云计算在服务模型上可以划分为软件即服务(SaaS)、平台即服务(PaaS)和设施即服务(IaaS),在发布模型上又可以划分为私有云、社区云、公有云和混合云。需要说明的是,随着云计算技术的发展,如上所述服务模型和发布模型之间的界限也日趋模糊。在本文的范畴内,“公有云”一词泛指面向公众开放服务的平台即服务和设施即服务。除此之外,各种名义的私有云(Private Cloud)、专有云(Dedicated Cloud)、托管云(Managed Cloud)均未包括在本文的范畴之中。
本文中“团队建设”、“产品研发”、“服务运营”三个小节的数据来源有两个。一个是云服务提供商主动发布的新闻资讯,另一个是作者与云服务提供商的主要负责人之间的电话访谈。作者与黄允松(青云)、季昕华(UCloud)、刘爽(美团云)、钱广杰(盛大云)、沈志华(又拍云)、王慧星(腾讯云)、许式伟(七牛云)、朱桦(金山云)等业内专家(按姓氏拼音排序)的访谈,是由InfoQ方面统一协调安排的,在此作者深表感谢。这个三个小节的内容,在定稿之前均经过受访者及其公关/市场团队的确认,反映的是云服务提供商自身的观点和思路。在审稿阶段,青云撤回了与作者进行访谈时所发表的一切言论;出于保护商业机密的考虑,阿里云拒绝了作者的访谈邀请。因此,如上三个小节未能包括青云和阿里云的观点。
“用户体验”和“其他讨论”这两个小节,是作者独立获得的数据以及由此引出的观点,在定稿之前未接受任何一家云服务提供商的审核。需要特别说明的是,如上所述云服务提供商的主要负责人接受作者的访谈并不代表他们认可作者在“用户体验”和“其他讨论”这两个小节中所报告的数据和观点。此外,作者本人也并不持有本文中所讨论的任何一家云服务提供商的内幕信息,作者独立获得的数据仅仅是基于作者所使用的测试方法得到的观测结果。受种种技术条件的限制,作者无法对这些数据的准确性进行背书,也无法对其误差范围进行估算。本文中报告的大部分数据是在2016年3月底之前获得的,这部分数据的获取时间在正文中不再特别说明;小部分数据是在2016年8月底获得的,这部分数据的获取时间在正文中会有特别说明。读者在引用本文所报告之数据时,应当考虑到数据的时效性。
本文中有多个小节对各个云服务提供商进行了逐一介绍。相关云服务提供商在这几个小节中出现的顺序是按照拼音字母次序排列的。
本文仅讨论中国本土的公有云服务提供商。Amazon Web Services(AWS)、Microsoft Azure、Google Cloud Platform等等进入或者未进入中国市场的外资企业不在本文的讨论范围之内。
产品研发(下)
盛大云
盛大云认为云计算技术有几个发展阶段。早期大家对市场还不够了解,中国客户和国外客户也存在差别。国内客户大都是从中小市场转化过来的,这些早期客户对AWS所提出的EC2或者EBS等新概念并不了解,只是认定了云计算就是虚拟机,云主机就是传统物理主机的替代品。因此,早期的云计算产品是以VPS的形式出现的。随着市场逐渐成熟,客户的需求也在慢慢扩展,自然而然地围绕云主机发展出一系列产品。这些产品可以是独立的,但是又不一定必须独立存在。譬如说云硬盘是盛大云2011年发明的概念。当时盛大云发现客户对虚拟机数据盘的性能要求比较高,自然而然地就想到了云硬盘这个产品。但是云硬盘是不能独立于云主机使用的,所以不能算是一个独立的产品。为了解决存储与虚拟机分离的问题,又想到了云存储这个产品。客户把云存储当成一个存储池,通过PUT和GET这样的API接口来读写对象。等到客户的业务增长了,单台云主机无法满足客户业务上的需求了,负载均衡产品就自然而然地出现了。客户所服务的用户在地理范围上的分布变广了,自然而然地产生了对内容分发的需求,盛大云的CDN产品也就随之出现了。
所以说,盛大云的发展与用户需求的演进基本上是同步的。在国内,盛大云是最早向AWS学习的云计算服务提供商。在盛大发展的早期,在AWS的EC2、EBS、S3等已有产品的基础上,盛大云又开发了CDN、视频云、云安全等等新产品。当国内其它云计算服务提供商还没有起步的时候,盛大云就已经推出了这么多产品。但是盛大云随之发现了两个问题。第一个问题是国内客户对云主机的接受程度并不高,相比之下现在的情况好多了。第二个问题是运营商之间的互联互通。在这种情况下,客户用量最多的还是云主机,对其他产品的需求并没有那么大。因此,盛大云在很长一段时间里都专注于云主机业务。除了云主机,客户用量最大的产品是云存储、云硬盘、CDN。因此,盛大云也把云主机、云存储、云硬盘、CDN作为我们的基础性产品看待。
在产品特性上,盛大云注意到市场上对云主机的要求也是分阶段发展的。早期的时候,各个厂商在技术上并没有多少距离,因为客户对磁盘容量和读写能力的要求并不高。随着市场变得成熟,用户对云主机稳定性和性能的要求慢慢提高了。客户对磁盘IOPS的要求提高了,就有厂商推出基于SSD硬盘的云主机。客户对云主机覆盖的网络范围提高了,就有厂商推出基于BGP带宽的云主机。客户对云主机的安全要求提高了,就有厂商推出具备高防能力的云主机。国内的云计算圈子有一个特点,就是厂商之间的沙龙和分享很多。厂商和厂商之间都在有意无意的产生很多沟通。虽然友商不会说底层的实现方法,但是他会讲他们是怎样满足用户需求的。在微信和主流媒体上,时不时地会发布一些新技术。一个新技术被发布出来后,其它厂商都会很快跟上。在技术水平上拉不开,造成厂商之间产品同质化的局面。在这种情况下,盛大云选择在某些特性上突出我们和其他厂商的区别。例如在云主机的稳定性和可靠性方面,盛大云会多下一些功夫。
盛大云在2015年在产品大方向上做了一些优化,在技术实现上做了一些改进。这些改进体现在产品线更加丰富,机房做了异地灾备,服务可靠性得到提升。这些改进从用户界面上可能反映不出来,但是在用户的使用过程当中会慢慢地感受到。譬如做镜像的速度和做备份的速度,这些只能在使用过程中感受到。2016年盛大云会对Web控制台做一些大的改动,包括对资源进行操作的流程的改动。在对产品进行改进的时候,我们既会做横向的比较,也会做纵向的比较。我们发现在与用户进行沟通的过程当中,用户很难表达出他真正的需求。因此,我们需要对用户所表达的需求进行梳理和挖掘,得出正确的用户需求再和用户进行确认。为此我们设立了一个产品经理的职位,负责与用户沟通和改进我们的评估。
盛大云将缺陷(bug)分为ABC三个等级,A级是影响主要功能的缺陷,B级是影响用户直接使用的缺陷,C级是影响用户体验的缺陷。盛大云的运维团队7x24小时保持手机开机,在有需要的情况下可以随时随地做出响应。在产品与特性的优先级排序方面,盛大云优先考虑能够带来性能提高的特性,或者是来自大客户的迫切需求。除此之外,研发团队也会主动提出新的特性。研发团队看到友商的新功能和新思路也会主动跟用户沟通。用户未来可能会使用的功能,也会排上开发日程。最终由研发经理和产品经理共同对产品和特性进行优先级排序。
盛大集团内部也有IDC业务,提供服务器和带宽租赁。云计算和IDC业务这两块业务在某些领域是充分竞争的,但是在某些领域又是相互补充的。传统IDC属于资源粗放型业务,采购周期上架周期比较长。传统IDC业务需要多为用户考虑,譬如用户需要某个量级的资源,但是我们会增加资源配备来满足用户的突发性需求。就是因为传统IDC有这个弊端,云计算的按需使用使用按量横向扩展等等特点就有了明显的优势。用户不再需要关心采购周期和上架周期。需要使用的时候申请所需的计算资源就可以了。盛大云认为2016年的一个大的方向是:用户将敏感数据放在自己这里,需要横向扩展的部分或者承担业务压力的部分放到云上。从这个角度来看,IDC业务和云计算业务是互补的。用一面扇子来打个比方,扇子打开的时候,扇子的上沿是公有云,横向扩展会很快;下面是私有云,横向扩展相对慢,譬如业务前端和数据库,前端扩充五倍,后面可能才扩充一倍。这样的架构能够保证数据的安全性,可控,备份方便,对成本增加不大。盛大云注意到很多用户愿意付少量的成本来保证数据的私有性。
在公司层面,盛大云的业务分成三块:公有云平台,定制云(私有云+混合云业务,可以根据客户需求进行定制),综合的云方案(针对政府部门,园区,从园区的层面提供综合的解决方案)。前面提到的私有云属于定制云方面的业务。我们的定制云和公有云在同一个机房,解决了定制云和公有云之间的网络互联互通问题。定制云和公有云两个业务所使用的物理服务器,是由同一个运维团队进行管理的。定制云在底层也有横向扩展的需求,涉及到物理服务器的变动(上线、下线、维修)。盛大云准备有备机提供给用户。另外,盛大云还可以在用户当地机房提供定制云服务,可以通过专线打通用户当地机房和盛大云的机房。
盛大云认为国内本土的云计算服务提供商比AWS和微软有竞争优势。这是因为国内厂商对国内互联网用户、国家政策、国内网络状况都有特别的理解。和国内友商相比,盛大云的优势有两点。第一是盛大云起步较早,通过多年的运营积累了大量的运维经验。盛大云多年为盛大集团服务,处理了很多突发状况。第二是盛大云对用户需求有很深的理解,打造的产品更加贴合国内用户的需要。
腾讯云
在腾讯云内部,并没有特意去对产品和特性进行界定。王慧星认为,客观上人的认知存在多样性,由于评价维度不同,便会出现不同的理解。从公有云的发展来看,公有云已经远远超越了IaaS这个层面。腾讯云认为AWS最基础的产品并不一定就是EC2、S3和VPC。对于腾讯云来说,比较重要的包括设施层的IaaS、平台层的PaaS,还有生态层的合作伙伴。设施层的IaaS是一大类产品,整合了计算、网络和存储;平台层的PaaS也是一大类产品,包括腾讯的深度学习能力和音频视频处理能力;生态层的合作伙伴则是另外一个大的类别。但是腾讯云内部从来都没有讨论过哪几个是最基础的产品。譬如说我们对安全很重视,在研发方面有很大的投入,那么安全算不算最基础呢?网络攻击是所有用户的痛点。我们在这方面做了很多事情。腾讯云的目标是将底层的基础设施以一种更上层的方式提供给客户。计算、存储、网络会透明化,而不是以裸机的方式去提供给客户。
腾讯云认为设施层面的IaaS在国内和国外基本上大同小异。譬如说CDN服务,各家都说自己的性能领先,谁都互相说服不了。2015年9月,腾讯云发布了基于MySQL的数据库服务,QPI达到了每秒3.7万,在国内其竞争对手的QPI只有每秒2.5万左右。等到2016年新产品发布的时候,性能还会再增长一倍。在云主机的性能优化方面,腾讯云的块存储的IOPS达到了非常高的水平。但是,腾讯云更多地考虑在PaaS和SaaS层面体现出与友商的差异。譬如说腾讯的音频视频服务,又譬如说与Oracle合作联合发布Oracle数据库服务。腾讯的音频视频服务与苹果的Facetime类似,但是腾讯在跨国的互联互通方面做得更好。在中国的三大运营商之间,还存在互联互通的问题,因此在基础设施层面还有很大的竞争空间。腾讯的网络互联互通能力是非常强大的。腾讯在中国有几个大的节点,彼此之间互联互通能够很好地覆盖全国甚至是全球。又譬如说人脸识别,腾讯在这个领域有很深的积累。腾讯云的客户可以在腾讯的人脸识别功能之上构建上层应用。譬如说银行的免见面开户业户,譬如说某些特殊行业的活体检测业务。腾讯在QQ、QZone等产品上积累了很多独有的能力,它们都是腾讯云独有的特性,是其它IaaS服务提供商所无法提供的。
在产品和特性的优先级方面,腾讯云聚焦在IaaS和PaaS层面。有一些重点投资的产品,其优先级是最高的。其它的产品,则要根据具体的场景进行具体的分析。优先级排序是一个trade off的结果。腾讯云首先关注的是性能优化,其次是腾讯内部特有的能力。譬如说人工智能与深度学习能力,如果能够对外开放提供服务,也会加进来。这里的关键是产品和特性要对用户有价值,也要符合腾讯的发展规划。在腾讯云内部,每个产品都有一个对应的团队,腾讯云把决策权下放给执行的团队。在一个具体的问题上,其实并没有一个明确的决策流程。不管是2C类产品还是2B类产品,产品经理试错都是需要的。用户提出一个需求时,他真正的需求也未必就是他提出的那个需求。要考虑在现有的产品里面是不是有现成的东西可以达成他的目标。如果一个团队总是在纠结需求的优先级,这个团队可能存在一些结构性的问题。
与AWS和Windows Azure等外来的公有云服务提供商相比较,腾讯云认为大家在基础的IaaS层面基本上大同小异,在计算、存储、网络方面的能力并没有根本性的差别。腾讯过去十多年的积累是非常了不得的,在产品磨练过程中有一些独到之处。在腾讯内部,以前是不同的产品团队单独支撑自己的产品。现在腾讯内部有一些上万台机器的业务,是全部跑在腾讯云上面的。腾讯云的产品可以把微信和QQ支撑好,是非常了不得的一件事情。腾讯云希望把支撑微信和QQ的这种能力提供给外部客户,给他们帮助和支持。
在API接口方面,腾讯云给腾讯内部提供的API接口比给外部客户提供的API接口要更加丰富。对外提供服务的产品和API接口,都是到已经非常成熟了才发布出来。王慧星认为AWS声称“亚马逊的电子商务平台是构建在AWS之上的”不过是市场宣传上的一种说法。具体实现上必定有多个数据中心,有的数据中心是对内的,有的数据中心是对外的,涉及到的API接口不可能是完全一致的。AWS给Netflix和Apple所提供的支持必然是经过深度定制化的。譬如说S3服务的SLA,苹果的iCloud可能会要求SLA要达到12个9,但是对外的SLA只有11个9。同一套系统给不同的用户提供服务,这个从逻辑上来说并不成立。大系统给大公司用,小系统给小公司用,才是符合逻辑的做法。
腾讯公司高层希望腾讯应该是同一套系统同时对内对外提供服务。这个愿望在逻辑上没有问题,但是在具体实现上是有问题的。
UCloud
对于UCloud来说,产品与特性之间的界定是比较简单的。比如说云主机UHost是一个产品,负载均衡ULB是另一个产品,但是ULB的某个功能点是一个特性。产品是一个能够单独完成某个任务的东西,而特性仅仅是某一个小功能而已,围绕产品的功能点来做的。举个例子来说,云数据库UDB是我们的产品,但是UDB的双机热备是一个特性。
UCloud的产品也分为计算、存储、网络三个大类。在计算方面,UCloud既有云主机也有物理机,还提供GPU云主机。UCloud的云主机具有很好的稳定性与性能,可以在物理机之间进行动态迁移,可以实现弹性扩展。底层物理机可以在不重启操作系统的情况下给操作系统内核打补丁,称之为内核热补丁技术,这项技术在整个云计算领域都是领先的。UCloud的云存储具有很高的可靠性,使用非常灵活。UCloud的数据方舟特性,允许用户将数据恢复到72小时以内的任意零点,24小时以内的任意整点,12小时以内的任意一秒。UCloud于2015年推出了基于PCI-E的存储,可以达到非常高的性能。UCloud的普通存储也使用了一些有助于提高性能的专利技术。在网络方面,UCloud在2012年实现了软件定义网络,2013年实现了同城多机房布局,2015年实现了跨城容灾备份。
UCloud在2015年集中精力做了三件事情。第一件是推出为金融业务服务的金融云解决方案。金融云围绕金融行业的特殊需求,从IDC的物理环境、到网络的同城容灾、到防DDOS攻击,都达到了金融行业的要求。第二件是基于Hadoop的数据分析产品UHadoop集群,为用户提供大数据分析的平台。第三件是直播云服务。UCloud的很多用户都有实现视频直播、点播的需求,直播云服务能够让更多小团队和个人快速创业。
UCloud内部有一个文化,叫做“用户的需求就是我们的下一个产品”。UCloud会经常性地跟客户进行沟通,了解什么产品用户有需求。比如说混合云产品,UCloud自研的SDN网络服务允许用户将业务在一个VPC(虚拟私有网络)中无缝地迁移、整合、连接,也允许用户将公有云上的资源和私有云中的资源组成一个互通的资源池,这些互联方式以物理网络的不同属性可以分为内网互联、专线互联、以及公网互联。从用户的角度看,他们的计算节点(不论是容器还是虚拟机还是物理机)都是在一个统一的虚拟网络内是可达的。而在底层,UCloud则是通过各类NFV化的网关(比如物理云主机有物理云主机的网关,托管云主机有托管云主机的网关等等)为这些不同的节点集群之间提供了高性能互联的机制。
和传统的数据中心服务器租赁业务相比,UCloud最大的特点在于API化。有了API后,任何操作都可以在线地通过API实现,而不是人工实现。这样才能够真正实现云计算的弹性。小型的客户,基本上不需要使用API。规模大一些的客户(譬如说几十台)才有API的需求(需要写程序来做管理)。UCloud的客户,有3台以上服务器或者云主机的基本上都会用使用API。
UCloud的定位,是做国内最大的中立云服务提供商。UCloud和用户之间没有竞争,这一点是其他公司所不具备的。他们既要做平台,又要做内容,和客户产生了竞争关系。UCloud关注的客户很聚焦,只做行业客户,不做个人客户。在行业用户中,UCloud争取的是创业型互联网公司以及向互联网转型的传统企业。UCloud对这些客户有很深的研究,才使得他们愿意把身家性命都放在UCloud这里。平台好、稳定性高、性能高、服务周到是他们的需求。但是UCloud的品牌还不如一些云计算巨头那么知名,在产品的种类和数量也还有上升的空间。比如,阿里云进入行业的时间更长,研发人员相对更多。在获取资源的能力和价格方面,阿里云的采购能力也比UCloud更占优势。
AWS是UCloud的标杆。和AWS类似,UCloud也是先从行业客户做起,UCloud觉得能长大的客户才是好客户。UCloud要先做企业客户,再做政府客户。行业客户是真正需要使用云计算的,他们对云计算的需求是强烈的。UCloud的发展目标,是让用户像搭积木一样方便地创建应用。目前中国的云计算用户还不够成熟,很多时候需要架构师的支持。AWS的架构咨询支持是收费的,属于增值服务。而UCloud的架构及解决方案咨询、售前及售后的技术支持全部是免费的。除此之外,AWS在提供IaaS服务以外,也做SaaS应用,难免和用户业务产生冲突。
又拍云
又拍云将公司所提供的全部服务视为一个大的产品,所有的功能都是为了满足不同用户需求而开发的特性。又拍云的主要功能有三个:第一是CDN类功能,又称为网络加速,是又拍云的核心功能;第二是云存储功能,用户可以方便地从手机等不同客户端上传数据;第三是云处理功能,允许用户在分享图片的时候针对客户端进行适配。
每年年底,公司层面会决定第二年的产品方向,确定在某个时间点上要实现哪些功能或者特性。产品部门和研发部门根据这些大的方向对具体的功能设定优先级和安排资源。在每个季度中,都会对研发计划进行梳理和细化。
和传统的CDN业务相比较,又拍云认为其最大的优势在于行业内第一张云CDN网络。传统的CDN有很多不同的平台,不同的产品由不同的平台来提供服务。但是计算资源的总量是有限的,传统CDN的资源分配方法降低了每个平台的性能和服务能力。又拍云充分了解传统CDN的弊端,根据当前的网络条件和用户需求设计出全新的架构。这个新的架构只有一个开放的CDN平台,所有的计算资源都云化了,能够按需为所有功能和特性提供服务,从而提高了平台的整体性能。计算资源云化之后,新增加的机房,所有用户都可以使用。这样就提高了所有用户的访问速度,也提升了服务的稳定性。
跟国内友商相比,又拍云将把自己定位成一个服务化的平台。又拍云更注重于云服务,把云存储、云分发、计算处理等不同服务集成在一起,做成一个整体的服务。又拍云希望通过这样的功能集成组合,能够和用户的需求更好地衔接。传统上,用户需要用不同的接口来实现云存储、CDN、数据处理,但是又拍云只需要一个API接口。因此,又拍云是一个融合了不同云服务的平台,是一个云化的服务网络。又拍云认为,云计算说到底还是以服务为主,和卖产品不一样,注重的是一个服务的过程。
信息披露
作者蒋清野是悉尼大学信息技术学院的博士研究生,同时也是AWS悉尼技术支持中心的员工。他于1999年获得清华大学学士学位(土木工程),2000年获得伊利诺伊大学香槟分校硕士学位(土木工程),2015年获得悉尼大学硕士学位(计算机科学)。他的研究兴趣包括分布式与高性能计算、开源社区的社会学行为、信息技术领域的微观经济学分析。他是美国电子电气工程师学会(IEEE)的高级会员。
在接受InfoQ方面的邀请准备规划这篇报告的时候,作者的内心是兴奋的。在获得所有测试数据准备撰写这篇报告的时候,作者的内心是矛盾的。一方面,作为并行与分布式计算领域的学生,作者希望为业界提供一些有用的信息和观点;另一方面,作为公有云服务领域的从业人员,作者深知发表一份涉及多家友商的报告会带来诸多争议。在InfoQ方面的鼓励下,作者选择以真实的身份发布这些的数据和观点,希望能够对国内云计算从业人员有所帮助。
参考文献
- 工业和信息化部电信研究院(中国信通院,CAICT),《云计算白皮书(2014年)》,2014年5月
- 中国电子信息产业发展研究院工业和信息化部赛迪智库,《云计算发展白皮书(2015版)》,2015年4月
- 工业和信息化部电信研究院(中国信通院,CAICT),《云计算白皮书(2016年)》,2016年9月
- Peter Mell and Timothy Grance, “The NIST Definition of Cloud Computing”, NIST Special Publication 800-145, September 2011
- William Stanley Jevons, “The Coal Question”, 1866
- 蒋清野,《虚拟化、云计算、开放源代码及其他》,2012年10月
- 蒋清野,《从王博士说起》,2013年12月
- 蒋清野,《浅谈“中国”语境下的公有云发展》,2015年5月
- Qingye Jiang, Young Choon Lee, Albert Y. Zomaya, “Price Elasticity in the Enterprise Computing Resource Market”, IEEE Cloud Computing, vol.3, no. 1, pp. 24-31, Jan.-Feb. 2016, doi:10.1109/MCC.2016.14
- 章文嵩,《淘宝软件基础设施构建实践》,第三届中国云计算大会,2011年5月
- 高山渊,《阿里巴巴系统运维实践分享》,QClub深圳站,2012年6月
- Netcraft, “Aliyun cloud growth makes Alibaba largest hosting company in China”, May 2015
- Jiamang Wang, Yongjun Wu, Hua Cai, Zhipeng Tang, Zhiqiang Lv, Bin Lu, Yangyu Tao, Chao Li, Jingren Zhou, Hong Tang, “FuxiSort“, Alibaba Group Inc, October 2015
- Reynold Xin, Parviz Deyhim, Ali Ghodsi, Xiangrui Meng, Matei Zaharia, “GraySort on Apache Spark by Databricks“, Databricks Inc., October 2014
- Michael Conley, Amin Vahdat, George Porter, “TritonSort 2014“, University of California at San Diego, 2014
- Intel Xeon E5-2630基准测试数据
- Intel Xeon E5-2650基准测试数据
- Intel Xeon E5-2670基准测试数据
- Thomas Graves, “GraySort and MinuteSort at Yahoo on Hadoop 0.23“, Yahoo!, May 2013
- Zhuo Zhang, Chao Li, Yangyu Tao, Renyu Yang, Hong Tang, and Jie Xu. “Fuxi: a fault-tolerant resource management and job scheduling system at internet scale.” Proceedings of the VLDB Endowment 7, no. 13 (2014): 1393-1404.
- 华为集团,《华为服务器助力腾讯构建十万级高效部署》,2014年7月
- 陈海泉,《下一代超大规模软件定义网络技术实践》,2016年1月
- 高旭磊,《招商银行关于金融云的思考》,中国金融电脑,2016年8月
- 阿里云,《阿里云生态路线图》,2015年7月