首页 > 代码库 > 柯南君：看大数据时代下的IT架构（2）消息队列之RabbitMQ-基础概念详细介绍

柯南君：看大数据时代下的IT架构（2）消息队列之RabbitMQ-基础概念详细介绍

2024-08-07 21:34:50   220人阅读

柯南君上一章《柯南君：看大数据时代下的IT架构（1）业界消息队列对比 》中，粗略的讲了一下，目前消息队列的几种常见产品的优劣对比，接下来的几章节会分别详细阐述，本章介绍RabbitMQ，好吧，废话少说，正式开始：

一、基础概念详细介绍

1、引言

你是否遇到过两个（多个）系统间需要通过定时任务来同步某些数据？你是否在为异构系统的不同进程间相互调用、通讯的问题而苦恼、挣扎？如果是，那么恭喜你，消息服务让你可以很轻松地解决这些问题。
消息服务擅长于解决多系统、异构系统间的数据交换（消息通知/通讯）问题，你也可以把它用于系统间服务的相互调用（RPC）。本文将要介绍的RabbitMQ就是当前最主流的消息中间件之一。 

2、RabbitMQ简介

RabbitMQ是流行的开源消息队列系统，用erlang语言开发。RabbitMQ是AMQP（高级消息队列协议）的标准实现。如果不熟悉AMQP，直接看RabbitMQ的文档会比较困难。首先讲一下AMQP
AMQP，即Advanced Message Queuing Protocol，高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。消息中间件主要用于组件之间的解耦，消息的发送者无需知道消息使用者的存在，反之亦然。
AMQP的主要特征是面向消息、队列、路由（包括点对点和发布/订阅）、可靠性、安全。
RabbitMQ是一个开源的AMQP实现，服务器端用Erlang语言编写，支持多种客户端，如：Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等，支持AJAX。用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。
下面将重点介绍RabbitMQ中的一些基础概念，了解了这些概念，是使用好RabbitMQ的基础。

3、基本概念

1）RabbitMQ 结构图如下：

2）重点介绍一些比较重要基础概念

① Query ：（队列）
Query（队列）是RabbitMQ的内部对象，用于存储信息，有下图(1-3-2-1)表示
(1-3-2-1)
RabbitMQ中的信息只能存储在Query中，生产者（下图中的P）生产者消息并最终投递到Query中，消费者（如图中1-3-2-2的C）可以从Query中获取消息并消费。
(1-3-2-2)
多个消费者可以订阅同一个Query，这时Query中的消息会被平均分摊给多个消费者进行处理，而不是每个消费者都收到所有消息并处理。

② Message acknowlegment：（消息回执）
在实际应用中，可能会发生消费者收到Query中的消息，但没有处理完成就宕机的情况，这种情况下，就可能导致信息丢失，为了避免这种情况发生，我们可以要求消费者在消费完消息后发送一个回执给RabbitMQ,RabbitMQ收到消息回执（Message acknowledge）后，才将该消息从Query中移除。如果RabbitMQ没有收到回执，并检测到消费者的RabbitMQ链接断开，则RabbitMQ 会将该消息发送给其他消费者（如果存在多个消费者的情况下）进行处理，这里不存在timeout的概念，一个消费者处理消费时间不管多么长也不会导致该消息被发送给其他消费者，除非它的RabbitMQ连接断开；
注意：这里会产生一个问题，如果开发人员再处理业务完成逻辑后，忘记发送回执给RabbitMQ，这将会导致严重的bug---Query中堆积的消息会越来越多；消费者重启会重复消费这些消息并重复执行业务逻辑。
③Message durability：（消息持久化）
如果我们希望即使在RabbitMQ在重启的情况下，也不会丢失消息，那么我们将Query与Message都设置成可持久化的（durability），这样就可以保证绝大部分情况下我们的RabbitMQ消息不会丢失。但依然解决不了小概率的丢失事件的发生(比如 RabbitMQ服务器已经接收到生产者的消息，但是，还没有来的及持久化该消息时，RabbitMQ服务器就断电了或者宕机了)，如果我们需要对这种小概率事件也要管理起来的话，那么我们需要用到事务。
④ Prefetch count （预取数目）
前面我们提到了如果有多个消费者同时订阅同一个Query中的消息，Query中的消息会被平摊给多个消费者。这时如果每个消息的处理时间不同，就有可能导致某些消费者一直很忙，而另一些消费者很快处理完手头上工作，并一直空闲的情况下。我们可以通过设置prefetch count=1，则Query每次给每个消费者发送一条消息；消费者处理完这条消息后Query会再给消费者发送一条消息。
⑤ Exchange （交换器）
上一节我们看到生产者将消息投递到Query中，实际上这在RabbitMQ是不可能发生的，实际上的情况是，生产者将消息发送到Exchange（交换器，下图中X），Exchange将消息路由到一个或者多个Query中或者丢弃。
Exchange是按照什么逻辑将消息路由到Query的？这将在Binding一节详谈。
RabbitMQ中的Exchange有四种类型，不同的类型有着不同的路由策略，这将在Exchange Types一节详谈
⑥ routing key（路由key）
生产者在将消息发送给Exchange的时候，一般会指定一个routing key，来指定这个路由规则，而这个routing key需要与 Exchange Type 与binding key 联合使用才能最终生效。
在Exchange Tpye 与binding key 固定的情况下(在正常使用情况下，这些内容都是配置好的)，我们的生产者就可以在发送消息给Exchange的时候，通过指定routing key 来指定消息流的流向哪里。
⑦ Binding (绑定)
RabbitMQ 中通过Binding 将Exchange 与Query关联起来，这样RabbitMQ就知道如何正确地将消息路由到指定的Query了
⑧ Exchange Type （更换类型）
RabbitMQ常用的Exchange Tpye 有fanout、direct、top、headers这四种
⑨ fanout （分列）
fanout类型的Exchange路由规则非常简单，它会把所有发送到该Exchange的消息路由到所有与它绑定的Queue中。
⑩　direct （重定向）
direct类型的Exchange路由规则也很简单，它会把消息路由到那些binding key与routing key完全匹配的Queue中。
以上图的配置为例，我们以routingKey=”error”发送消息到Exchange，则消息会路由到Queue1（amqp.gen-S9b…，这是由RabbitMQ自动生成的Queue名称）和Queue2（amqp.gen-Agl…）；如果我们以routingKey=”info”或routingKey=”warning”来发送消息，则消息只会路由到Queue2。如果我们以其他routingKey发送消息，则消息不会路由到这两个Queue中。
?　topic（主题）

前面讲到direct类型的Exchange路由规则是完全匹配binding key与routing key，但这种严格的匹配方式在很多情况下不能满足实际业务需求。topic类型的Exchange在匹配规则上进行了扩展，它与direct类型的Exchage相似，也是将消息路由到binding key与routing key相匹配的Queue中，但这里的匹配规则有些不同，它约定：

  • routing key为一个句点号“. ”分隔的字符串（我们将被句点号“. ”分隔开的每一段独立的字符串称为一个单词），如“stock.usd.nyse”、“nyse.vmw”、“quick.orange.rabbit”
  • binding key与routing key一样也是句点号“. ”分隔的字符串
  • binding key中可以存在两种特殊字符“*”与“#”，用于做模糊匹配，其中“*”用于匹配一个单词，“#”用于匹配多个单词（可以是零个）】
以上图中的配置为例，routingKey=”quick.orange.rabbit”的消息会同时路由到Q1与Q2，routingKey=”lazy.orange.fox”的消息会路由到Q1，routingKey=”lazy.brown.fox”的消息会路由到Q2，routingKey=”lazy.pink.rabbit”的消息会路由到Q2（只会投递给Q2一次，虽然这个routingKey与Q2的两个bindingKey都匹配）；routingKey=”quick.brown.fox”、routingKey=”orange”、routingKey=”quick.orange.male.rabbit”的消息将会被丢弃，因为它们没有匹配任何bindingKey。
?　headers
headers类型的Exchange不依赖于routing key与binding key的匹配规则来路由消息，而是根据发送的消息内容中的headers属性进行匹配。
在绑定Queue与Exchange时指定一组键值对；当消息发送到Exchange时，RabbitMQ会取到该消息的headers（也是一个键值对的形式），对比其中的键值对是否完全匹配Queue与Exchange绑定时指定的键值对；如果完全匹配则消息会路由到该Queue，否则不会路由到该Queue。
该类型的Exchange没有用到过（不过也应该很有用武之地），所以不做介绍。
?　RPC（远程过程调用）
MQ本身是基于异步的消息处理，前面的示例中所有的生产者（P）将消息发送到RabbitMQ后不会知道消费者（C）处理成功或者失败（甚至连有没有消费者来处理这条消息都不知道）。
但实际的应用场景中，我们很可能需要一些同步处理，需要同步等待服务端将我的消息处理完成后再进行下一步处理。这相当于RPC（Remote Procedure Call，远程过程调用）。在RabbitMQ中也支持RPC。

RabbitMQ中实现RPC的机制是：

  • 客户端发送请求（消息）时，在消息的属性（MessageProperties，在AMQP协议中定义了14中properties，这些属性会随着消息一起发送）中设置两个值replyTo（一个Queue名称，用于告诉服务器处理完成后将通知我的消息发送到这个Queue中）和correlationId（此次请求的标识号，服务器处理完成后需要将此属性返还，客户端将根据这个id了解哪条请求被成功执行了或执行失败）
  • 服务器端收到消息并处理
  • 服务器端处理完消息后，将生成一条应答消息到replyTo指定的Queue，同时带上correlationId属性
  • 客户端之前已订阅replyTo指定的Queue，从中收到服务器的应答消息后，根据其中的correlationId属性分析哪条请求被执行了，根据执行结果进行后续业务处理

二、MQ特点

三、使用场景

四、含义

五、安装

http://blog.csdn.net/sun305355024sun/article/details/41918315

六、客户端

七、服务端



柯南君：看大数据时代下的IT架构（2）消息队列之RabbitMQ-基础概念详细介绍


联系
我们