首页 > 代码库 > memcached客户端连接建立过程笔记

memcached客户端连接建立过程笔记

memcached在启动过程初始化server_sockets时,根据启动参数决定系统是进行tcp监听还是udp监听,这里暂时只关注tcp的情况。

server_socket在初始化时会向系统申请监听socket之后设置地址,bind以及开始listen等操作,之后比较关键的一步是
为监听socket创建了一个conn, conn是用来描述一个客户端请求的上下文,显然memcached将监听socket也当做conn处理,方便管理,
主要代码:

/* 设置conn的初始状态为conn_listening,表示这是一个监听socket,在之后的事件状态机中专门用于接收用户连接 */if (!(listen_conn_add = conn_new(sfd, conn_listening,	EV_READ | EV_PERSIST, 1,transport, main_base))) {fprintf(stderr, "failed to create listening connection\n");exit(EXIT_FAILURE);}listen_conn_add->next = listen_conn;listen_conn = listen_conn_add; /* listen_conn是一个全局变量,用来保存所有的监听连接 */

conn数据结构部分字段注释:

struct conn {int sfd; /** 连接对应的fd,即监听fd或者用户连接fd*/char *rbuf; /** 存储读取到的命令 */char *rcurr; /** 已经解析到的rbuf的位置 */int rsize; /** rbuf的全部长度 */int rbytes; /** 从rcurr开始还有多少未解析的数据 */char *wbuf;char *wcurr;int wsize;int wbytes;/** 标识当前状态结束之后的下一个状态,在状态机中使用 */enum conn_states write_and_go;void *write_and_free; /** free this memory after finishing writing */char *ritem; /** 用来存储key-value中的value,在状态机中做了接收到的数据复制到存储位置的操作 */int rlbytes;/* 用于读取value的数据结构*//* data for the nread state *//*** item is used to hold an item structure created after reading the command* line of set/add/replace commands, but before we finished reading the actual* . The data is read into ITEM_data(item) to avoid extra copying.*//*** 在未读取到key-value中的value数据时,item用来存储处理set/add/replace这三个命令锁生成的item1数据结构,* 之后读取到value会被直接读进item1的data区域,防止多一次的数据复制,这里需要多体会一下
*/void *item; /* 在这几个命令set/add/replace会用到 *//* data for the swallow state */int sbytes; /* how many bytes to swallow */enum protocol protocol; /* 标识传送数据类型 char型或者是二进制 */enum network_transport transport; /* 标识数据传输的方式tcp或者udp或unix socket */int hdrsize; /* number of headers‘ worth of space is allocated */bool noreply; /* 标识该命令是否需要回复 */conn *next; /* 指向下一个连接形成单链表结构 */LIBEVENT_THREAD *thread; /* 指向所属的线程,每一个用户连接都会被固定分配给一个worker线程 */}; 

在new_conn中的关键代码标识了这个conn的初始状态以及处理函数:

c->state = init_state; /** 设置连接的初始状态 */...event_set(&c->event, sfd, event_flags, event_handler, (void *)c); /** 设置事件监听以及event_handler回调函数*/event_base_set(base, &c->event); /**注册到libevent*/

event_handler进行简单fd校验之后将事件转交给drive_machine处理,这是memcached事件处理状态机的实现,
下面看看drive_machine连接建立部分逻辑:

static void drive_machine(conn *c) {bool stop = false;int sfd;socklen_t addrlen;struct sockaddr_storage addr;int nreqs = settings.reqs_per_event;int res;const char *str;assert(c != NULL);while (!stop) {switch(c->state) {case conn_listening: /** 状态为conn_listening的监听连接负责接收客户端连接*//** 关键部分,接收连接并设置为非阻塞*/accept(c->sfd, (struct sockaddr *)&addr, &addrlen);fcntl(sfd, F_SETFL, fcntl(sfd, F_GETFL) | O_NONBLOCK) < 0)/** 先判断是否达到设置的最大连接数量*/if (settings.maxconns_fast &&stats.curr_conns + stats.reserved_fds >= settings.maxconns - 1) {...} else { /** 未达到最大连接数则分配该连接并创建conn表示客户单连接上下文*//** 新conn的初始状态为conn_new_cmd,监听读事件,传输协议为tcp*//** -------------------跳到下面dispach_conn_new的大致逻辑----------*/dispatch_conn_new(sfd, conn_new_cmd, EV_READ | EV_PERSIST,DATA_BUFFER_SIZE, tcp_transport);}stop = true; /** 跳出while循环*/break;/** 下面的状态基本由客户端建立连接之后的事件驱动*/case ...:...return;}/*** 这个函数只能由主线程来调用,用于将新接收的连接分配给worker线程*/void dispatch_conn_new(int sfd, enum conn_states init_state, int event_flags,int read_buffer_size, enum network_transport transport) {CQ_ITEM *item = cqi_new(); /*CQ_ITEM是主线程与worker线程数据交互的数据结构,对一个连接的包装*/char buf[1];if (item == NULL) {close(sfd);/* given that malloc failed this may also fail, but let‘s try */fprintf(stderr, "Failed to allocate memory for connection object\n");return ;}int tid = (last_thread + 1) % settings.num_threads; /** robin-round循环获取一个目标worker线程*/LIBEVENT_THREAD *thread = threads + tid;...cq_push(thread->new_conn_queue, item); /** 将新的连接包装实体压入到woker线程待处理连接队列*/MEMCACHED_CONN_DISPATCH(sfd, thread->thread_id);buf[0] = ‘c‘;/** 主线程通过初试化线程时创建的pipe通道给worker发送消息‘c‘表示分配给一个新的连接*/if (write(thread->notify_send_fd, buf, 1) != 1) {...}}/***worker线程收到消息后会回调线程启动时pipe关注的事件注册的回调函数*thread_libevent_process,下面继续看看该函数逻辑*/static void thread_libevent_process(int fd, short which, void *arg) {LIBEVENT_THREAD *me = arg;CQ_ITEM *item;char buf[1];/** 读取消息*/if (read(fd, buf, 1) != 1)if (settings.verbose > 0)fprintf(stderr, "Can‘t read from libevent pipe\n");/** 判断消息类型*/switch (buf[0]) {case ‘c‘: /** 新连接*/item = cq_pop(me->new_conn_queue); /** pop出主线程压入的新连接结构*/if (NULL != item) {/** 创建新连接 me->base 表示将该连接关注的事件注册到的libevent 事件监听结构*/conn *c = conn_new(item->sfd, item->init_state, item->event_flags,item->read_buffer_size, item->transport, me->base);...cqi_free(item);}break;/** 下面两个消息标识主要跟线程启动注册有关*//* we were told to flip the lock type and report in */case ‘l‘:me->item_lock_type = ITEM_LOCK_GRANULAR;register_thread_initialized();break;case ‘g‘:me->item_lock_type = ITEM_LOCK_GLOBAL;register_thread_initialized();break;}}

新的连接在创建conn_new时又被注册了回调函数为event_handler,event_handler将事件处理转交drive_machine状态机,

也就是由客户端发送命令事件驱动drive_machine其他状态的逻辑,以上是客户端连接建立的过程,drive_machine状态机
其他状态注释留待下一次笔记。