首页 > 代码库 > 《分布式Java应用之基础与实践》读书笔记一
《分布式Java应用之基础与实践》读书笔记一
分布式Java应用的体系结构知识简单分为:
- 网络通信:包括协议和IO
- 消息方式的系统间通信:包括基于Java包、基于开源框架、性能角度
- 远程调用方式的系统间通信:包括基于Java包、基于开源框架、性能角度
大型应用拆分为多个子系统来实现,这些子系统可能部署在同一台机器,或者不同机器的多个不同JVM中,每个子系统对应一个JVM。但这些子系统又不是完全独立的,要相互通信来共同实现业务功能,对于此类Java引用,我们称之为分布式Java引用。通常有两种典型的方法来实现。
- 基于信息方式实现系统间的通信,通常基于网络协议来实现。
- 基于远程调用方式实现系统间的通信,通常基于RMI和WebService
消息方式
基于Java自身技术
基于Java自身包实现消息方式的系统间通信的方式有:
- TCP/IP+BIO
- TCP/IP+NIO
- UDP/IP+BIO
- UDP/IP+NIO
TCP/IP+BIO
在Java中可基于Socket、ServerSocket来实现TCP/IP+BIO的系统间通信。Socket用于实现建立连接及网络IO的操作,ServerSocket用于实现服务器端端口的监听及Socket对象的获取。这种简单的通信模式,运用到实际的系统中,通常需要面对的是客户端同时要发送多个请求到服务器端,服务器端则同时要接受多个连接发送的请求。 为了解决客户端同时要发送多个请求到服务器端的需求,解决办法是:
- 生成多个Socket,问题是消耗客户端过多的本地资源,消耗服务器端过多的连接数,连接耗时较长导致的系统性能下降。解决方法是采用连接池的方式来维护Socket。连接池的问题是Socket数量有限导致的竞争和等待和如何合理控制等待响应的超时时间。
为了满足服务端能同时接受多个连接发送的请求,解决办法是:
- 在accept获取Socket后,将此Socket方式放入一个线程中处理,称为一连接一线程。缺点是无论连接上是否有真实的请求,都要耗费一个线程。为防止过多线程导致的服务器端资源耗尽,必须限制创建线程的数量,BIO方式下服务器端所能支撑的连接数有限。
TCP/IP+NIO
在Java中可基于java.nio.channels中的Channel和Selector的相关类来实现TCP/IP+NIO方式的系统间通信。SocketChannel用于建立连接、监听事件及操作读写,ServerSocketChannel用于监听端口及监听连接事件,程序通过Selector来获取是否有要处理的事件。NIO是典型的Reactor模式的实现,通过注册感兴趣的事件及扫描是否有感兴趣的事件发生,从而做相应的动作。这种简单的通信模式,运用到实际的系统中,通常需要面对的是客户端同时要发送多个请求到服务器端,服务器端则同时要接受多个连接发送的请求。
为了解决客户端同时要发送多个请求到服务器端的需求,解决办法是:
- 采用与TCP/IP+BIO类似的方式,使用多个SocketChannel。但是NIO方式可做到不阻塞,如果服务器端返回的相应能够带上请求标识,客户端则可采用连接复用的方式。对于连接不复用的情况,可基于Socket.setSoTimeout的方式来控制同步请求的超时;对于连接复用的情况,同步请求的超时可基于BlockingQueue、对象的wait/notify机制或Future机制来实现。
为了解决服务端接受多个连接请求的需求,解决办法是:
- 由一个线程来监听连接的事件,另一个或多个线程来监听网络流读写的时间。当有实际的网络流读写事件发生后,再放入线程池中处理。这种方式称为一请求一线程,好处是可接受很多的连接,这些连接只在有真实的请求时才会创建线程来处理。非常适用于服务端需要支持大量的连接数,但这些连接同时发送的请求不会太多。
对于高访问量的系统而言,TCP/IP+NIO方式结合一定的改造在客户端能够带来更高的性能,在服务端能支持更高的连接数。
UDP/IP+BIO
Java对UDP/IP方式的网络数据传输同样采用Socket机制,只是没有建立连接的要求,同时无法双向通信,除非两端都是UDP Server。在Java中可基于DatagramSocket和DatagramPacket来实现UDP/IP+BIO方式的系统间通信,DatagramSocket负责监听端口及读写数据。DatagramPacket作为数据流对象进行传输。
UDP/IP通信方式的两端不建立连接,不会有TCP/IP通信连接竞争的问题,只是最终读写流的动作是同步的。客户端同时发送多个消息的请求使用多个DatagramPacket即可。服务端同时接收多个请求的需求,采用没接收到一个packet就放入一个线程中进行处理的方式来实现。
UDP/IP+NIO
在Java中通过DatagramChannel和ByteBuffer来实现UDP/IP+NIO方式的系统间通信,DatagramChannel负责监听端口及进行读写,ByteBuffer则用于数据流传输。
对于UDP/IP方式,NIO带来的好处是只在有流要读取或可写入流时才做相应的IO操作,而不用像BIO方式直接阻塞当前线程。
多播的实现
以上都是基于Java包的一对一的系统间通信方式,实际场景中,可能需要将消息发送给多台机器,针对此场景有两种解决办法:
- 为每个目标机器建立一个连接,缺点是对消息发送端造成很大的网络流量压力
- 利用基于UDP/IP扩展出来的多播协议,在Java中可基于MulticastSocket和DatagramPakcet来实现多播网络通信。在多播通信中,接收数据端加入多播组来进行数据的接收,发送数据也要求加入多播组进行发送,多播的目标地址具有指定的地址范围,在224.0.0.0和239.255.255.255之间。
在Java应用中,多播通常用于多台机器的状态的同步。
基于开源框架
Mina是Apache的顶级项目,基于Java NIO构建,同时支持TCP/IP和UDP/IP两种协议,Mina对外屏蔽了Java NIO使用的复杂性,并在性能上做了不少优化。
在使用Mina时,关键的类为IoConnector、IoAcceptor、IoHandler及IoSession,Mina采用Filter Chain的方式封装消息发送和接收的流程,在这个Filter Chain的过程中可进行消息的处理、消息的发送和接收等。
- IoConnector 负责配置客户端的消息处理器、IO事件处理线程池、消息发送/接收的Filter Chain 等。
- IoAcceptor 负责配置服务器端的IO事件处理线程池、消息发送/接收的Filter Chain等。
- IoHandler 作为Mina和应用的接口,当发生了连接事件、IO事件或异常事件时,Mina都会通知应用所实现的IoHandler。
- IoSession 类似于SocketChannel的封装,不过Mina对连接做了进一步的抽象,因此可进行更多连接的控制及流信息的输出。
除了Mina之外,现在JBoss Netty也是现在一个广受关注的Java通信框架,据评测JBoss Netty的性能浩宇Mina。
小结
使用Java包来实现基于消息方式的系统间通信还是比较麻烦。为了让开发人员更加专注于对数据进行业务处理,而不用过多关注纯技术细节,开源业界诞生了很多优秀的基于以上各种协议的系统间通信的框架,比如Mina。
《分布式Java应用之基础与实践》读书笔记一