Redis在6.0以前是单线程的,在6.0之后可以通过配置文件开启多线程,6.0之后的多线程是指在io方面使用多线程来执行以加快I/O的速度。
Redis服务器是一个事件驱动程序,服务器需要处理以下两类事件:
- 文件事件(file event)
Redis服务器通过套接字与客户端(或者其他Redis服务器)进行连接,而文件事件就是服务器对套接字操作的抽象。服务器与客户端(或者其他服务器)的通信会产生相应的文件事件,而服务器则通过监听并处理这些事件来完成一系列网络通信操作。文件事件处理器使用I/O多路复用(multiplexing)程序来同时监听多个套接字,并根据套接字目前执行的任务来为套接字关联不同的事件处理器。当被监听的套接字准备好执行连接应答(accept)、读取(read)、写入(write)、关闭(close)等操作时,与操作相对应的文件事件就会产生,这时文件事件处理器就会调用套接字之前关联好的事件处理器来处理这些事件。 - 时间事件(time event)
Redis服务器中的一些操作(比如serverCron函数)需要在给定的时间点执行,而时间事件就是服务器对这类定时操作的抽象。时间事件分两类第一类是定时事件(让一段程序在指定的时间之后执行一次)另一类是周期性事件(让一段程序每隔指定时间就执行一次)。
一、文件事件
1、文件事件处理器
文件事件处理器是由四部分组成的分别是套接字、I/O多路复用程序、文件事件分派器、事件处理器。
I/O多路复用程序负责监听多个套接字,并向文件事件分派器传送那些产生了事件的套接字。尽管多个文件事件可能会并发的出现,单I/O多路复用程序总是会将所有产的事件的套接字都放到一个队列里面,然后通过这个队列,以有序的、同步的、每次一个套接字的方式向文件事件分派传送套接字。当上一个套接字产生的事件被处理完毕之后(该套接字所关联的事件处理执行完毕),I/O多路复用程序才会继续向文件事件分派器传送下一个套接字,文件事件分派器接收I/O多路复用程序传来的套接字,并根据套接字产生的事件的类型条用相应的事件处理器,服务器会执行不同人物的套接字关联不同的事件处理器,这些处理器定义了某个事件发生时服务器该执行的动作。
2、I/O多路复用
Redis的多路复用程序的所有功能都是通过包装select、epoll、evport、kqueue这些I/O多路复用函数库来实现的
3、文件事件类型
AE_READABLE事件
当套接字变得可读时(客户端执行write或者close操作)或者有新的可应答的套接字出现时套接字将会产生AE_READABLE事件。AE_WAITABLE事件
当套接字变得可写时(客户端执行read操作)将产生AE_WAITABLE事件
I/O多路复用程序会同时监听AE_READABLE事件和AE_WAITABLE事件,如果一个套接字同时产生了这两种事件,那么事件分派器会优先处理AE_READABLE事件,也即是说服务器将先读套接字后写套接字。
4、文件事件的处理器
- 连接应答处理器
连接应答处理器,这个处理器用于对连接服务器监听套接字的客户端进行应答,当Redis服务器进行初始化的时候,程序会将这个连接应答处理器和服务器监听套接字的AE_READABLE事件关联起来,当客户端连接服务器监听套接字的时候,套接字就会产生AE_READABLE事件,引发连接应答处理器执行,并执行相应的套接字应答操作。 - 命令请求处理器
当一个客户端通过连接应答处理器成功连接到服务器之后,服务端会将套接字的AE_READABLE事件和命令请求处理器关联起来,当客户端向服务端发送命令请求的时候,套接字就会产生AE_READABLE事件,引发命令请求处理器执行,并执行套接字读入等操作。在客户端连接服务器的整个过程中,服务器都会一直为客户端套接字的AE_READABEL事件关联命令请求处理器。 - 命令回复处理器
当服务器有命令回复需要传送给客户端的时候,服务器会将客户端套接字的AE_WRITABLE事件和命令回复处理器关联起来,当客户端准备好接收服务器回传的命令回复时,就会产生AE_WAITABEL事件,引发命令回复处理器执行,并执行相应的套接字写操作。当命令回复发送完毕之后,服务器就会解除命令回复处理器与客户端套接字的AE_WAITABLE事件之间的关联。
5、一次完成的客户端与服务器连接事件实例
首先Redis客户端向服务器发起连接,那么监听套接字将产生AE_READABEL事件,触发连接应答处理器执行,处理器会对客户端的连接请求进行应答,然后创建客户端套接字,以及客户端状态,并将客户端套接字的AE_READABEL事件与命令请求处理器进行关联,使得客户端可以向主服务器发送命令请求。
之后假设客户端向主服务器发送一个命令请求,那么客户端套接字将产生AE_READABEL事件,引发命令请求处理器执行,处理器读取客户端的命令,然后传给相关联的程序去执行。
执行命令将产生相应的命令回复,为了将这行命令回复传送回给客户端,服务器会将AE_WAITABLE事件和命令回复处理器进行关联。当客户端尝试读取命令回复的时候客户端会产生AE_WAITABLE事件,触发命令回复处理器执行,当命令回复处理器将命令回复全服写入套接字之后,服务器就会解除客户端套接字的AE_WAITABLE事件与命令回复处理器执行的关联。
二、时间事件
1、时间事件的组成
- id
服务器为时间事件创建全局唯一ID。ID号从小到大顺序递增。 - when
毫秒精确度的UNIX时间戳,记录了时间事件的到达时间。 - timeProc
时间事件处理器,一个函数。当时间事件到达时,服务器就会调用相应的处理器来处理事件。
一个时间事件是定时事件还是周期性事件取决于时间事件处理器的返回值,如果事件处理器返回ae.h/AE_NOMORE,那么这个事件为定时事件,该事件在到达一次后就会被删除,之后不再到达。如果事件处理器返回一个非AE_NOMORE的整数值,那么这个事件为周期性事件,当一个时间事件达到后,服务器会根据事件处理器的返回值,对事件的when属性进行更新,让这个事件在一段时间后再次到达,并以这种方式一直更新并运行下去。
实现
服务器将所有时间事件都放在一个无序链表中(无序的并不是指id字段,而是when字段所以每次执行都要遍历完真个链表。),每当时间事件执行器运行时,它就会遍历整个链表,查找到所有已经到达的事件,并调用相应的事件处理器。
这里需要说明的是虽然是无序链表但是由于链表的长度不会很长正常模式下Redis服务器只使用serverCron一个时间事件所以这个地方机会退化成了指针的作用,而benchmark模式下,服务器也只使用两个时间事件,所以全遍历对性能影响可以忽略。
serverCron函数
持续运行的Redis服务器需要定期对自身的资源和状态进行检查和调整,从而确保服务器可以长期、稳定地运行,这些定期操作由redis.c/serverCron函数负责执行,它的主要工作包括:
- 更新服务器的各类统计信息,比如时间、内存占用、数据库占用等情况。
- 清理数据库中过期的键值对。
- 关闭和清理连接失效的客户端。
- 尝试进行AOF或者RDB持久化操作。
- 如果服务器是主服务器,那么对从服务器进行定期同步
- 如果处于集群模式,对集群进行定期同步和连接测试。
事件的调度与执行
因为服务器中同时存在文件事件和时间事件两种事件类型,所以服务器必须对这两种事件进行调度,决定何时应该处理文件事件,何时又应该处理时间事件,以及花多少时间来处理它们等等。
处理过程的伪代码如下:
def aeProcessEvents():
# 获取到达时间离当前最近的时间事件
tem_event = aeSearchNearestTimer()
# 计算上一步获得到的事件 距离到达还有多少秒
remaind_ms = time_event.when - unix_ts_now()
# 如果事件已经到达, 那么remaind_ms的值可能为负数,设置为0
remaind_ms = max(remaind_ms, 0)
# 阻塞并等待文件事件产生,最大阻塞时间由timeval结构决定,
# 如果remaind_ms的值为0,那么aeAPiPoll调用之后马上返回,不阻塞
aeApiPoll(timeval)
# 处理所有已经产生的文件事件
processFileEvents()
# 处理所有已经到达的时间事件
proccessTimeEvents()
事件的调度和执行规则:
1)aeApiPoll函数的最大阻塞时间由到达时间最接近当前时间的时间事件决定,这个方法既可以避免服务器对时间事件进行频繁的轮询(忙等待),也可以确保aeApiPoll函数不会阻塞过长时间。
2)因为文件事件是随机出现的,如果等待并处理完一次文件事件之后,仍未有任何时间事件到达,那么服务器将再次等待并处理文件事件。随着文件事件的不断执行,时间会逐渐向时间事件所设置的到达时间逼近,并最终来到到达时间,这时服务器就可以开始处理到达的时间事件了。
3)对文件事件和时间事件的处理都是同步、有序、原子地执行的,服务器不会中途中断事件处理,也不会对事件进行抢占,因此,不管是文件事件的处理器,还是时间事件的处理器,它们都会尽可地减少程序的阻塞时间,并在有需要时主动让出执行权,从而降低造成事件饥饿的可能性。比如说,在命令回复处理器将一个命令回复写人到客户端套接字时,如果写人字节数超过了一个预设常量的话,命令回复处理器就会主动用break跳出写入循环,将余下的数据留到下次再写;另外,时间事件也会将非常耗时的持久化操作放到子线程或者子进程执行。
4)因为时间事件在文件事件之后执行,并且事件之间不会出现抢占,所以时间事件的实际处理时间,通常会比时间事件设定的到达时间稍晚一些。
文件事件和时间事件之间是合作关系,服务器会轮流处理这两种事件,并且处理事件的过程中也不会进行抢占。时间事件的实际处理时间通常会比设定的到达时间晚一些。
以上就是一起聊聊redis文件事件和时间事件的详细内容,转载自php中文网
发表评论 取消回复