IO多路复用和Reactor模式
1. Reactor和Preactor模式
- Reactor用于同步IO,Preactor用于异步IO
- Reactor通常会和Connector模式一起使用,进一步解耦连接的建立与连接以后的逻辑
2. Reactor模式中的主要角色
2.1. Reactor
Reactor是IO事件的派发者。
2.2. Acceptor
Acceptor接受client连接,建立对应client的Handler,并向Reactor注册此Handler。
2.3. Handler
和一个client通讯的实体,按这样的过程实现业务的处理。一般在基本的Handler基础上还会有更进一步的层次划分, 用来抽象诸如decode,process和encoder这些过程。比如对Web Server而言,decode通常是HTTP请求的解析, process的过程会进一步涉及到Listner和Servlet的调用。业务逻辑的处理在Reactor模式里被分散的IO事件所打破, 所以Handler需要有适当的机制在所需的信息还不全(读到一半)的时候保存上下文,并在下一次IO事件到来的 时候(另一半可读了)能继续中断的处理。为了简化设计,Handler通常被设计成状态机,按GoF的state pattern来 实现。
3. 多线程下的Reactor
一个突然闪入脑海的问题:在单核的机器上,如果除了Reactor可能阻塞在等待IO事件中以外,Handler和Acceptor都是完全 非阻塞的,那用多线程来实现Reactor模式能获得性能提升吗?(貌似不能……)
3.1. 多线程化的目的
- 利用上多核的计算能力。
- 策略性地增减线程从而提升伸缩性。
- 要让Reactor能快速派发IO事件到Handler中。如果用单线程,Handler处理快慢直接影响队列中后续IO事件的派发速度。
- IO之外的处理交给其他线程,这样Reactor可以专心派发事件。
- 可以采用多Reactor的设计,因为:
- 如果负载高的话,单个Reactor可能会忙于IO,影响伸缩性。
- 其实多Reactor就是一种负载均衡的策略,从而不会让CPU在IO十分频繁的时候空闲下来。
- 线程划分为Reactor线程和Worker线程,前者处理IO并派发事件,后者来跑Handler做完IO后的Process处理。
Doug Lea的《Scalable IO in Java》中实例代码中,多线程版本的Handler还是在Reactor线程里运行,只有在读到 需要的数据了以后才会想Worker线程池里提交process的任务。个人对于这种有一个问题:如果不能一次读到全部需要 的数据,process过程该如何设计? (TODO:争取从Jetty中找到一些答案)
3.1.1. Worker线程
- 分担非IO的业务逻辑处理,减轻Reactor负担
- 用线程池来管理,以便做性能和伸缩性之间的微调和控制
- 通常需要的线程远远低于同时连接的client数量
- 任务之间的协调(TODO:需要更进一步的了解)
- Handoff
- Callback
- Queue
- Future
4. Java中的实现
Java中Reactor模式server的实现主要应用的两大块技术就是:
- Java5引入的concurrent包(传送门)
- ThreadPoolExecutor实现线程池
- Queue, Future等等机制的使用
- Java NIO(传送门)
- Channel
- Buffer
- Selector
4.1. 多Reactor线程的实现
- 静态创建 vs 动态创建
- 每个Reactor都有独立的Selector和对应的线程
- Reactor划分为main reactor和sub reactor
- main reactor监听连接请求并控制acceptor(单个main reactor?)
- sub reactors监听连接并分发IO事件到handler里
- Acceptor用某种机制来将accept后创建的handler分发到Reactor中
- Round-robin?
- 负载均衡?
4.2. 应用NIO其他Feature
- 单Reactor多Selector的模式:将不同的handlers绑定到不同的IO事件上
- 需要控制好同步
- 文件传送:应用OS提供的sendfile调用来直接将文件数据发送到网络连接中,省去了用户空间和内核空间的一次数据拷贝
- Direct Buffers:可以实现零拷贝的数据传送,但有创建和销毁的开销,适合长连接应用
- 参见NIO相关话题(传送门)
相关推荐
io多路复用 用来检测IO 非阻塞 io 只用来操作IO reactor 是异步事件吗? 是,它里面 针对io 的处理是 异步回调的方式。 reactor为什么搭非阻塞io? (由三方面讨论) 多线程环境 将一个listenfd放到多个epoll去处理 ...
(3)IO多路复用(IO Multiplexing):即经典的Reactor设计模式,有时也称为异步阻塞IO,Java中的Selector和Linux中的epoll都是这种模型。 (4)异步IO(Asynchronous IO):即经典的Proactor设计模式,也称为异步非...
reactor中的 IO 使用的是select poll epoll 多路复用IO, 以便提高 IO 事件的处理能力,提高IO事件处理效率,支持更高的并发 。 二、Reactor 模型有三个重要的组件: 多路复用器:由操作系统提供,在 linux 上一般是...
客户端发送的连接请求都会注册到多路复用器上,多路复用器轮询到连接有IO请求就进行处理。 AIO : Asynchronous IO,即异步非阻塞,采用了 Proactor 模式,特点是先由操作系统完成后才通知服务端程序启动线程去处理...
回 0、基于 block 的传输比基于流的传输更高效、更高级的 IO 函数 zero-copy、IO 多路复用 大大提高了 Java 网络应用的可伸缩性和实用性。基于 Reactor 线程模型。 在 Reactor 模式中,事件分发器等待某个事件或者可...
1.利用IO多路复用技术Epoll与线程池实现Reactor高并发模型。 2.利用主从状态机解析HTTP请求报文,实现对资源的请求。 3.使用升序双向链表实现定时器,关闭超时的非活动连接。 4.单例模式的日志系统,实现异步写入...
(3)IO多路复用(IOMultiplexing):即经典的Reactor设计模式,有时也称为异步阻塞IO,Java中的Selector和Linux中的epoll都是这种模型。(4)异步IO(AsynchronousIO):即经典的Proactor设计模式,也称为异步非...
这两类都要使用到IO多路复用,O多路复用是指单个进程/线程就可以同时处理多个IO请求。有三个方式select、poll、epoll。 select:将文件描述符放入一个集合中,调用select时,将这个集合从用户空间拷贝到内核空间...
从这篇文章中,大家可以学习到如下知识:什么是I/O多路复用Reactor三种线程模型Netty线程模型NioEventLoop源码分析JDKepollbug学习I/O多路复用之前,我们先来了解如下几个概念:阻塞I/O:客户端从socket中读取数据或...
后端网络框架的经典之作,libevent是一款跨平台、支持多种IO多路复用、高性能的、基于reactor模型、纯C语言的轻量级事件驱动框架
一个微型但高性能的HTTP Web服务器,遵循Reactor模型,使用非阻塞IO和IO多路复用(epoll ET)来处理并发。 Lotos是用纯C编写的,经过了很好的测试。 支持多个HTTP头(连接,内容长度等),将来还会增加更多。
9.1.3 处理带外数据 9.2 poll系统调用 9.3 epoll系列系统调用 9.3.1 内核事件表 9.3.2 epoll_wait函数 9.3.3 LT和ET模式 9.3.4 EPOLLONESHOT事件 9.4 三组IO复用函数的比较 9.5 IO复用的高级应用一:非阻塞...
此文档着重分析了Netty实现高并发的五个重要因素,包含了网络IO,零拷贝,内存池管理,高效的Reactor多线程模型,无锁化串行设计几个方面。