首页 > 代码库 > 排队理论之性能分析 - Little Law & Utilization Law

排队理论之性能分析 - Little Law & Utilization Law

  了解一个系统的性能一般是參考一些度量值(Metric),而怎样计算出这些Metric就是我们要讨论的。Little Law(排队理论:利特儿法则)和Utilization Law是Performance Engineering(System Engineering的一部分)经常使用的法则,它们都是数学理论,因此可作为性能计算的理论根据。具体分析两个法则超出了我个人的知识范围。因此我将只谈一下怎样应用。


在这之前我有写过存储系统性能 - 带宽计算,当中就应用到了Little Law和Utilization Law,大家能够參考一下。


Little Law 是由Philip M.Morse在1954年提出,公式为L = λW,但当时并没有被证明,所以只如果为正确。而一直被人们使用着。Philip希望读者可以提供这样的关系所不适用的情况来推翻它。

John Little在1961年证明了并没有一种情况不适用于Little Law,从而为Little Law的正确性提供了理论证明。


     Little Law定义了(以超市为例):在一个稳定的系统中。长时间观察到的平均顾客数量L = 长时间观察到的有效顾客到达速率λ * 平均每一个顾客在系统中花费的时间W,即L = λW。本法则适用于不论什么系统,甚至是一个系统中的子系统,比方一家银行的客户队列。唯一的要求就是系统必须是稳定的。非抢占式的


     为了更好的理解Little Law,请考虑一家仅有一个柜台的小型超市。柜台每次仅仅能服务一位顾客。而且如果全部人都会买东西。这个系统的工作流程能够化简为:入店 -> 浏览 -> 结账 -> 离开。这是一个稳定的系统。如果【顾客进入超市的速率 > 顾客离开超市的速率】。即Arrival rate > Exit rate,那么系统就会開始不稳定。由于等待的客户队列会逐渐变得无限长。


  • Little Law告诉我们:超市内的平均客户数量L = 客户到达速率λ * 客户在超时内的逗留时间W,即L = λW
  • 如果客户达到速率为10人/小时,平均每一个人在超市内逗留0.5小时,那么该超市在不论什么一个时间点的顾客数量 L= 10 * 0.5 = 5人
  • 现如果顾客開始蜂拥,达到速率增长至20人/小时,如果顾客逗留时间不变依旧为0.5小时,那么超市必须可以容纳 L=20*0.5 = 10人,否则都多出的5人须要在超市外等待;如果超市临时无法扩容。即仅仅能容纳5人。为了让多出的5人不须要在超市外等待。必须缩短顾客逗留时间W = 5/20 = 0.25小时


     总结来说,在流量添加的情况下。为了保证系统稳定执行(保持一个可接受的队列长度,从而保证可接受的响应时间),即超市在随意时间点都能保证可以服务5位顾客的能力,依据Little Law法则,有两种方案:

  • 第一:扩大超市容量(建造更大的超市)
  • 第二:降低顾客逗留时间(提高柜台效率,比方添加柜台数量。培训柜台人员)

====================================================

     说了那么多都没提到性能,别急。假设我们把相同的样例应用到磁盘系统。即:


l  确保磁盘稳定执行所同意的最大请求数量 L

l  I/O请求达到速率 λ

l  磁盘处理每个I/O所花费的时间 W


     因此,保证一块磁盘稳定执行所同意的最大I/O请求数量 L = I/O请求达到速率λ * 磁盘处理每个I/O所花费的时间W,即L = λW;同理,对于一个I/O控制器,到达速率必须 < 服务速率,或者说服务时间必须 < 内部到达时间,否则I/O控制器的处理能力无法满足过量的I/O请求,必定会导致性能下降。


          结合Utilization Law(不介绍了。直接应用。它可用于描写叙述I/O控制器的利用率)。公式为 U = λ * Rs


l  U = I/O控制器的利用率

l  Rs = 服务时间,即控制器处理一个I/O的平均时间,对于磁盘来说,服务时间 Rs = 寻道时间 + 旋转延迟 + 内部传输速率(数据从一个盘面上的单个磁道传输到Buffer的速率)。所以一般是一个定值,由磁盘本身的物理特性决定。

l  λ = 到达速率


Little Law + Utilization Law能够推导出例如以下公式(推导过程省略,直接用)


l  平均响应时间 R = Rs / (1-U)

l  平均队列长度 Nq = U^2 /(1-U)


     有了如上这些公式。我们来考虑这样一个磁盘系统, λ = 100个/秒,Rs = 8ms。我们能够得到


l  磁盘利用率 U = Rs / Ra = 8/10 = 0.8或80%

l  响应时间R = Rs / (1-U) = 8/(1-0.8) = 40ms

l  平均队列长度Nq = U^2 / (1-U) = 0.8^2 / (1-0.8) = 3.2

l  一个请求在队列中的等待时间 = 【U * Rs】或【响应时间 – 服务时间】 = 40 – 8 = 32ms


     若把控制器处理能力加倍,则服务时间和利用率都会减半,Rs = 4ms。U = 40%。

此时,响应时间R能够大大减少;同理。假设处理能力减半,那么服务时间和利用率都会极大添加。这里有一个很重要的概念。就是我们常常提到的,随着利用率添加到某一个点。假设继续上升,那么响应时间会呈指数形式增长,也就是说R和U并非线性的关系,我们分析一下【响应时间R = Rs / (1-U)】来看看是为什么:


     平均响应时间 R = Rs / (1-U),Rs是定值。可见。当U = 1时,也就是控制器饱和时。【响应时间R】趋近于无穷大,这是一个极限的概念,技术分享 。当U趋向于1时,又Rs是常量,所以R趋向于无穷大。

因此。处于100%利用率的控制器就是瓶颈所在,它会迫使I/O序列化(I/O serialization),即每一个I/O都必须在队列中等待它前面的I/O被处理完成之后才干得到服务。一旦队列无限加大(一般buffer会有控制机制阻止队列的无限增长,比方Fiber Channel BB Credit,TCP Window,Ethernet PAUSE等等),响应时间会急剧上升。


     通常我们都觉得当利用率达到70%以后。未来的继续增长会使得性能以指数形式下降。而不是线性的

为什么是非线性的。大家能够尝试画一下 R= Rs/ (1-U) 的函数图像,在U逐渐趋向于1时,R趋向于无穷大,垂直渐近线是 x = 1。只是我不明确70%是怎样计算出来的,可能是求U在 [0,1)范围内的导数通过比較斜率变化率来推断的?其实,当U取0.9,0.99,0.999,....,0.9999999时。你会发现R = 10Rs, 100Rs, 1000Rs,....,10000000Rs,R以指数形式增长。

而U取0.1,0.11,0.111时,R的添加就缓慢非常多。

随着U的取值添加,R的上升趋势也会以非线性的方式呈上升趋势。70%可能是通过数学方式计算得到。也可能仅仅是一个比較得来的经验值,擅长数学的朋友能够补充说明一下。

技术分享

技术分享

排队理论之性能分析 - Little Law &amp; Utilization Law