首页 > 代码库 > 云测评报告

云测评报告

前言
        本次评测选取了8家云服务提供商,包括阿里云,青云,天翼云,Ucloud,联通沃云,华为云,移动云,aws。旨在对云服务提供商提供的计算、网络、存储的相关指标进行量化评比,在尽量保证测试环境相同的情况下,提供客观公正的测试数据,从技术层面评估各云产品性能。

测评手段
        本次评测使用提供客观公正的测试数据,从技术层面评估各云产品性能,用24h连续测试的数据进行对比。选择开源的工具进行对比测试,数据和测试方法更加的客观公正公开,也为用户自己去测试云产品的性能时提供参考。

测评时间
2017.4.19-2017.5.5

云服务提供商配置
技术分享
 备注:

1.aws-china只针对企业用户开放使用,个人无法购买其产品,所以选择了aws-global东京节点来进行部分指标的测试。

2.操作系统、资源区域等个别云服务提供商无法提供相同的条件,只能选择最相似的测试条件。


Part1.云主机计算性能

1.1 综合性能    

字符串处理、浮点运算效率和速度、文件数据传输、管道吞吐、系统调用等多个维度的处理能力的综合  

 技术分享技术分享
移动云的云主机综合性能得分都是最高的。天翼云在综合性能得分排在最低的位置。其他云的云主机的综合性能得分比较接近,也都比较不错。稳定性方面从24小时的走势来看,基本都比较稳定,没有大幅的波动

1.2 CPU延时

特定时间内,虚拟 CPU 在排队等候物理 CPU 进行处理的时间,衡量cpu超分超卖的情况 

技术分享

    

技术分享

 
 相比较,aws和华为云的cpu延迟比较高,而青云和阿里云的cpu延迟比较低。

1.3 内存性能  
用户空间程序内存数据拷贝操作的速度
技术分享
技术分享
联通沃云的内存带宽最高,aws、移动云、阿里云的内存带宽也都比较高,华为、青云、ucloud次之,天翼云最低。稳定性方面,24小时内华为云的内存带宽波动比较大,移动云的也有两个时间点下降明显,其他云相对都比较稳定。

1.4 数据库业务性能测试
云主机中跑数据库业务的性能,Tpmc值指单位时间内处理订单的个数

技术分享
技术分享

联通沃云和aws的云主机上部署数据库的性能最好,阿里云、青云次之,移动云和天翼云tpmc表现也还不错,ucloud和华为云在数据库性能方面与其他公有云方面表现较差。稳定性方面,24小时内除了aws12点有所下降,其他都相对很稳定。

Part2.网络性能
2.1 网络延迟
技术分享
 
技术分享
阿里云、华为云、Ucloud、青云几乎没有网络延迟,网络非常流畅。
天翼云、联通沃云、移动云网络延迟程度良好,没有明显的延迟情况,基本不影响用户体验感受。   


2.2 外网带宽测试
技术分享
 技术分享
 
天翼云订购了5M带宽,实际却达到了20M左右的带宽,应该是限速方面存在bug。
除去异常的天翼云外,华为云带宽较高,阿里云稍高于5M,其他联通沃云、Ucloud、移动云、青云相差不大。总体来说,大家基本都能达到订购的5M带宽,表现合格。
技术分享
 

技术分享
 
同样的测试工具、测试方法,天翼云没有采集到相关数据。 
测试时,华为云发送的udp包乱序严重,除此之外,其他公有云厂商都表现合格。

3.3 UDP抖动时间
技术分享
 技术分享

联通沃云、阿里云和华为云的抖动时间非常小,udp包在链路上传输时间相当一致,网络非常稳定。Ucloud、移动云和青云的udp抖动时间较大,网络稳定情况相对稍差。青云的抖动时间在24小时内波动也相对较大。

 

Part3 应用用户体验

3.1 连接时间
连接时间是浏览器与云主机中部署的web服务器建立TCP/IP连接所消耗的时间 
技术分享
 
技术分享
 各个云的连接时间,总体来说都在100ms以内,而且都比较平稳,无较大的波动。
 
 3.2 首包时间
首包时间是指浏览器发送HTTP请求结束开始,到收到WEB服务器返回的第一个数据包的消耗时间    
技术分享
 技术分享
 

在首包时间上:阿里云<华为云<ucloud<移动云<青云<联通wo<天翼云

在指定的首包时间测试中,各个云的连接时间,总体来说都在200ms以内,在14:00时间点有延迟加大,向上波动,16:00回归,各个云的表现整体均在200ms一下,表现合格。

3.3 首屏时间
首屏时间是指,浏览器显示第一屏主页面的消耗时间    
技术分享
技术分享
在首屏时间上:华为云<青云<阿里云<联通wo<移动云<天翼云<ucloud    
在指定的首屏时间测试中,各个云的连接时间,总体来说都在2000ms以内,比较平稳,相差不大。

Part4  块存储性能
4.1 IO带宽
IO尺寸:256K iodepth:32 thread:1
技术分享
 技术分享
 4.2 IOPS
IO尺寸:8K iodepth:32 thread:64
 技术分享
 技术分享

天翼云和联通沃云的io性能都非常的高,移动云、阿里云、华为云的带宽iops都达到了官方文档的限速数据天翼云的顺序读、写带宽性能最好,但是与官方文档查到的限速数据不符,如果用户多的情况下,性能是否会相互影响,是否还能保证如此高的数据?联通云默认云硬盘只能是性能盘,iops相当之高。

 4.3  时延
IO尺寸:256K iodepth:32 thread:1
技术分享 
 技术分享
IO尺寸:8K iodepth:32 thread:64
 技术分享
 技术分享
参考iops和吞吐率,不难分析出,由于部分公有云iops和带宽都有做限速的原因,压力测试的情况下,io会排队,延迟会比较高,是正常情况。
 
Part5  对象存储性能

主要通过各个云内网测试了移动云、阿里云、华为云的对象存储性能。其他云环境未测试原因如下:
1)青云和天翼云不支持内网访问。
2)联通沃云停止提供对象存储服务。
3)通过jmeter工具测试ucloud的对象存储,需要开发jmeter插件。
4)经与华为云技术客服确认华为云主机访问对象存储内网带宽约100Mb/s,与实测结果相近,单个客户端并发访问量增大,性能测试出现Error警告。

5.1对象上传
技术分享技术分享技术分享技术分享
 
 技术分享技术分享
 

5.2 对象下载
 技术分享技术分享
 
 技术分享技术分享
 
 技术分享技术分享
5.3 对象删除 
技术分享技术分享
 
 
 技术分享技术分享

对象大小不变的条件下,随着并发数的增大,阿里云主机提供了更大的内网访问带宽,移动云由于受内网访问带宽限制,访问云存储时带宽限制成为瓶颈。相同并发线程条件下,阿里云对小对象具有较好的性能优势。
移动云删除文件时,采用同步删除方式,即删除元数据的同时删除了实体数据,优化了小对象垃圾数据回收效率;阿里云删除对象性能较好,采用异步删除方式,即只删除元数据,实体数据后台异步删除。

 Part6  云主机稳定性
在各个公有云虚机上部署的web应用在相同运行压力下查看网卡流量、应用cpu负载、磁盘io的稳定性及虚机可用性。  

阿里云:

技术分享

 

技术分享

 

技术分享

Ucloud

技术分享

 

技术分享

 

技术分享

移动云

技术分享

 

技术分享

 

技术分享

青云

技术分享

 

技术分享

 

技术分享

华为云

技术分享

 

技术分享

 

技术分享

各公有云厂商虚机稳定性都不错,测试期间云主机的可用性都为100%。其中移动云平均CPU利用率较高,华为云磁盘利用率在测试过程中出现了几个比较高的峰值。


总结:

从本次测试结果来看,
  • 云主机计算性能排名:联通沃云>移动云>aws(global)>阿里云>青云>Ucloud>华为云>天翼云;
  • 网络性能:阿里云>华为云>Ucloud>青云>联通云>天翼云>移动云;
  • 云主机部署应用用户体验性能:华为云>阿里云>青云>Ucloud>移动云>联通云>天翼云;
  • 存储性能因各家云的限速值不同,不作排名,详细数值参考Part4。
为了考察可用性、可靠性,在云主机中部署web应用检测了一周,各家云之间的差异都比较小,稳定性都不错,可用性100%。
另外,本次仅从性能方面去考量各个云的产品,尚未考虑到价格方面等因素,价格同样也是用户做出选择非常重要的因素,后续会把价格考虑进去。

由于精力有限,无法将国内其他云计算厂商的产品都拿来测试,欢迎有兴趣的朋友对自己所使用的云计算产品进行测试,并将结果分享出来,方便大家参考。


本文中如有任何错误,还请大家指正。



附录


指标名称

指标定义

测试工具

综合性能

指包括字符串处理、浮点运算效率和速度、文件数据传输、管道吞吐、系统调用等多个维度的处理能力的综合,取决于cpu、内存、磁盘、操作系统等各方面的性能,测试结果与一个基准系统进行比较,得到一个指数值,指数值越高,性能越好。

Unixbench

CPU延时

指特定时间内,虚拟 CPU 在排队等候物理 CPU 进行处理的时间,可以衡量超分的情况,因此,这个测试的数据越低,说明 CPU 的响应越快,延迟越低。

rt-test

内存带宽

内存带宽这里是指用户空间程序内存数据拷贝操作的速度,数值越大,性能越好。

Mbw

TPmc

tpmC值在国内外被广泛用于衡量计算机系统的事务处理能力,为"每分钟内系统处理的新订单个数,数值越大性能越好。

Tpcc-mysql

连接时间

连接时间是浏览器与web服务器建立TCP/IP连接所消耗的时间

控制台/fiddler

首包时间

首包时间是指浏览器发送HTTP请求结束开始,到收到WEB服务器返回的第一个数据包的消耗时间

控制台/fiddler

首屏时间

首屏时间是指,浏览器显示第一屏主页面的消耗时间。也就是用户所见完全展示的时间,他对用户体验有很大影响。

控制台/fiddler

 

云测评报告