首页 > 代码库 > Mini WEB服务器设计

Mini WEB服务器设计

MINI WEB服务器设计

以下是曾经Watchmen一个朋友学习网络编程时设计的一个简单的MiniWEB服务器。以下是其工作计划:
1、查看HTTP/1.0协议
参见:RFC1945, <>第9章

2、配置文件格式定义<详见minim.conf>
option=val1, val2,...
# 注释文本
#选项集开始
option=val #选项值定义
#选项集结束

3、定义所要实现的功能
主功能:
3.1 日志记录
服务器程序日志:由配置文件minim.conf的全局变量(islog, logfile, loglevel)确定
日志格式:ID:TIME:IP:PORT:DOMAIN:LEVEL:MSG
客户访问日志:由具体主机定义(islog, logfile, loglevel)
日志格式:CLIENT_IP:CLIENT_PORT:TIME:REQUEST_MSG:RESPONSE_MSG
3.2 支持多个实主机:IP与PORT唯一确定
ip=
port=
*3.3 支持虚拟主机:IP与PORT还要加上域名进行唯一确定
明白虚拟主机与实主机之间的区别
ip=
port=
domain=
3.4 错误信息回复
400--
404--
3.5 主目录与默认主页
home=
index=
3.6 request_method
GET
3.7 主机线程设置
default=
max=
increase=
min_idle=
max_idle=
辅助功能
3.8 服务器运行用户与组:minim-www:minim-www
3.9 可作为守护进程启动,参见<>第13章

其它
*3.10 服务器状态查询,如apache的server-status功能
* 此功能在第1版中不提供

4、功能实现方法
4.1 日志记录
(1). 服务器程序信息发送到stderr
(2). 客户访问日志发送到stdout
(3). 在进入deamon模式之前,可确保所有信息显示在终端上;而进入deamon模式之后,把stderr重定向到全局日志文件,把stdout重定向到客户访问日志文件

4.2 多主机
(1). fork()出的子进程首先应该关闭掉对于其它web 服务器的访问句柄
(2). 先扫描配置文件,查找出所有的,每个server即为一个web服务器;根据唯一确定原则处理冲突问题
(3). 为每个server定义一个struct web_server实体,并产生相应的进程

*4.3 虚拟主机
(1). 虚拟主机问题比实主机更加复杂,因为它要求在一组IP:PORT上可以绑定多个主机,每个主机用domain进行区分,这就要用到SO_REUSEADDR与SO_REUSEPORT选项
(2). 合理的利用惊群效应(进程)

4.4. 错误信息回复
(1). 定义全局错误信息回复页面
(2). 为每个web服务器(含与)定义相应的struct err_response结构
(3). 处理好全局与个体web服务器的映射关系

4.5 主目录与默认主页
(1). home=重点检查以下可能出现的问题
a. 目录名以及访问文件名中不能有".."出现,防止客户越权访问
b. 可以考虑chroot()--see man -S2 chroot--到相应的目录
(2). index=

4.6 Request_method
(1). 采用enum定义所要实现的method及相应的处理函数,为方便扩展

4.7 线程
(1). 每个进程在进入线程之前完成listen(), 在线程中调用accept(),
(2). 调用accept()的代码定义为临界代码, 采用sem_*()或pthread_mutex_*()的信号量进行同步
(3). 定义一个idle线程链表,确保idle线程数在min_idle与max_idle之间
(4). 当idle线程数小于min_idle时,由主线程一次创建increase个线程
(5). 总线程数不能大于max数量,从而可以有效设置一个web服务器的规模
(6). idle线程的退出由线程自己来处理,为了防止振荡出现,idle线程的判定与退出操作定义为临界代码
(7). 每个线程的recv阻塞时间不应该大于timeout时间(unit:second)

4.8 服务器运行用户与组:
(1). 安装时定义相应的用户与组:minim-www
(2). 程序启动时,设置自己的sid,sgid,seid, segid

4.9 可作为守护进程启动,参见<>第13章
(1). 要多次fork()之前,处理好配置文件

*4.10 服务器状态查询,如apache的server-status功能
(1). 每个进程向一个统一的文件中按指定协议(需自定义)写入状态信息
(2). 主进程建立一个线程来侦听对服务器状态的请求
(2). 侦听线程读取状态文件,生成网页文件,并向客户端发送

5、程序启动顺序(详见flow-chart.pdf)


6、注意事项
(1). 程序中所有文件目录不能直接写在代码中,应该是由宏定义,具体的值应该是在configure配置时确定,然后生成在一个头文件(path.h)中,由程序包含此文件。为了便于调试,可以先行手动编辑path.h
(2). 配置文件doc/minim.h中部分值也应该由configure配置时确定
(3). 需要配置时由autoconf确定的文件有
path.h.in --> path.h
minim.conf.in --> minim.conf
config.h.in --> config.h

FYI: (automake system variables)
  --bindir=DIR           user executables [EPREFIX/bin]
  --sbindir=DIR          system admin executables [EPREFIX/sbin]
  --libexecdir=DIR       program executables [EPREFIX/libexec]
  --sysconfdir=DIR       read-only single-machine data [PREFIX/etc]
  --sharedstatedir=DIR   modifiable architecture-independent data [PREFIX/com]
  --localstatedir=DIR    modifiable single-machine data [PREFIX/var]
  --libdir=DIR           object code libraries [EPREFIX/lib]
  --includedir=DIR       C header files [PREFIX/include]
  --oldincludedir=DIR    C header files for non-gcc [/usr/include]
  --datarootdir=DIR      read-only arch.-independent data root [PREFIX/share]
  --datadir=DIR          read-only architecture-independent data [DATAROOTDIR]
  --infodir=DIR          info documentation [DATAROOTDIR/info]
  --localedir=DIR        locale-dependent data [DATAROOTDIR/locale]
  --mandir=DIR           man documentation [DATAROOTDIR/man]
  --docdir=DIR           documentation root [DATAROOTDIR/doc/charpter3]
  --htmldir=DIR          html documentation [DOCDIR]
  --dvidir=DIR           dvi documentation [DOCDIR]
  --pdfdir=DIR           pdf documentation [DOCDIR]
  --psdir=DIR            ps documentation [DOCDIR]


7、程序文件结构
minim
 |
 |--doc
     |--minim.conf
     |--Plan.text
     |--Request.txt
 |--include
     |--path.h
     |--minim.conf.h
 |--err_pages
     |--400.html
     |--404.html
     |--500.html
 |--conf
     |--minim.conf
     |
 |--lib
     |--
 |--src
     |--
 |--Readme
 |--Todo.txt




所有文档及代码下载

minim-0.0.1.tar.bz2


HTTP协议文档

HTTP协议.rar



*******************************************************************
对于在嵌入式开发中,显然更多的是使用开源的嵌入式WEB服务器。常见的有嵌入式WEB服务器如下:

lighttpd
shttpd
thttpd
boa
mathopd
minihttpd
appweb
goahead

嵌入式WEB服务器BOA的移植方法(一)

     Boa是一个非常小巧的Web服务器,可执行代码只有约60KB。它是一个单任务Web服务器,只能依次完成用户的请求,而不会fork出新的进程来处理 并发连接请求。但Boa支持CGI,能够为CGI程序fork出一个进程来执行。Boa的设计目标是速度和安全,在其站点公布的性能测试中,Boa的性能 要好于Apache服务器。
(1)从www.boa.org下载Boa源码,将其解压并进入源码目录的src子目录
 # tar xzf boa-0.94.13.tar.gz
 # cd boa-0.94.13/src
 生成Makefile文件
 # ./configure
修改Makefile文件,找到CC=gcc,将其改成CC = arm-linux-gcc,再找到CPP = gcc –E,将其改成CPP = arm-linux-gcc –E,并保存退出。
然后运行make进行编译,得到的可执行程序为boa,将调试信息剥去,得到的最后程序只有约60KB大小。
 # make
 # arm-linux-strip boa

(2)完成Boa的配置,使其能够支持CGI程序的执行。Boa需要在/etc目录下建立一个boa目录,里面放入Boa的主要配置文件boa.conf。在Boa源码目录下已有一个示例boa.conf,可以在其基础上进行修改,下面解释一下该文件的含义:
#监听的端口号,缺省都是80,一般无需修改
Port 80


# bind
调用的IP地址,一般注释掉,表明绑定到INADDR_ANY,通配于服务器的所有IP地址
#Listen 192.68.0.5


#
作为哪个用户运行,即它拥有该用户的权限,一般都是nobody,需要/etc/passwd中有
#nobody用户
User nobody
#
作为哪个用户组运行,即它拥有该用户组的权限,一般都是nogroup,需要在/etc/group文件中有nogroup组
Group nogroup


#
当服务器发生问题时发送报警的email地址,目前未用,注释掉
#ServerAdmin root@localhost


#错误日志文件。如果没有以/开始,则表示从服务器的根路径开始。如果不需要错误日志,则用#/dev/null。在下面设置时,注意一定要建立/var/log/boa目录
ErrorLog /var/log/boa/error_log


#
访问日志文件。如果没有以/开始,则表示从服务器的根路径开始。如果不需要错误日志,则用#/dev/null或直接注释掉。在下面设置时,注意一定要建立/var/log/boa目录
#AccessLog /var/log/boa/access_log


#
是否使用本地时间。如果没有注释掉,则使用本地时间。注释掉则使用UTC时间
#UseLocaltime


#
是否记录CGI运行信息,如果没有注释掉,则记录,注释掉则不记录
#VerboseCGILogs


#
服务器名字
ServerName hostname


#是否启动虚拟主机功能,即设备可以有多个网络接口,每个接口都可以拥有一个虚拟的Web服务器。一般注释掉,即不需要启动
#VirtualHost


#
非常重要,HTML文档的主目录。如果没有以/开始,则表示从服务器的根路径开始。
DocumentRoot /var/www


#
如果收到一个用户请求的话,在用户主目录后再增加的目录名
UserDir public_html


#HTML
目录索引的文件名,也是没有用户只指明访问目录时返回的文件名
DirectoryIndex index.html


#
当HTML目录没有索引文件时,用户只指明访问目录时,boa会调用该程序生成索引文件然后返回给用户,因为该过程比较慢最好不执行,可以注释掉或者给每个HTML目录加上#DirectoryIndex指明的文件
#DirectoryMaker /usr/lib/boa/boa_indexer


#
如果DirectoryIndex不存在,并且DirectoryMaker被注释,那么就用Boa自带的索引生成程序来生成目录的索引文件并输出到下面目录,该目录必须是Boa能读写
# DirectoryCache /var/spool/boa/dircache


#
一个连接所允许的HTTP持续作用请求最大数目,注释或设为0都将关闭HTTP持续作用
KeepAliveMax 1000


#HTTP
持续作用中服务器在两次请求之间等待的时间数,以秒为单位,超时将关闭连接
KeepAliveTimeout 10


#
指明mime.types文件位置。如果没有以/开始,则表示从服务器的根路径开始。可以注释掉避免使用mime.types文件,此时需要用AddType在本文件里指明
MimeTypes /etc/mime.types


#
文件扩展名没有或未知的话,使用的缺省MIME类型
DefaultType text/plain


#
提供CGI程序的PATH环境变量值
CGIPath /bin:/usr/bin:/usr/local/bin


#
将文件扩展名和MIME类型关联起来,和mime.types文件作用一样。如果用mime.types文件,则注释掉,如果不使用mime.types文件,则必须使用
#AddType application/x-httpd-cgi cgi


#
指明文档重定向路径
#Redirect /bar http://elsewhere/feh/bar


#为路径加上别名
Alias /doc /usr/doc


#
非常重要,指明CGI脚本的虚拟路径对应的实际路径。一般所有的CGI脚本都要放在实际路径里,用户访问执行时输入站点+虚拟路径+CGI脚本名
ScriptAlias /cgi-bin/ /var/www/cgi-bin/

用户可以根据自己需要,对boa.conf进行修改,但必须要保证其他的辅助文件和设置必须和boa.conf里的配置相符,
不然Boa就不能正常工作。 在上面的例子中,我们还需要创建日志文件所在目录/var/log/boa,创建HTML文档的主目录/var/www,将mime.types文件拷贝 到/etc目录,创建CGI脚本所在目录/var/www/cgi-bin/。mime.types文件用来指明不同文件扩展名对应的MIME类型,一般 可以直接从Linux主机上拷贝一个,大部分也都是在主机的/etc目录下。


===================================================================

 

(3)系统测试
1.
进入 boa-0.94.13/src
 ./configure
 make
2.在etc/下建立boa目录并将boa.conf拷贝到该目录下.更改
boa.conf
      Group nogroup  ===》Group 0

3.在 /var/log/下建立boa目录,该目录下可以查看boa服务器的日志

4.其它的一些路径

默认是/var/www下的内容可以访问                       (DocumentRoot /var/www)
默认cgi :ScriptAlias /cgi-bin/ /usr/lib/cgi-bin/  (cgi可执行程序放在 /usr/lib/cgi-bin/目录下)
例子http://201.201.201.249/cgi-bin/cgi-test.cgi
CGIPath /bin:/usr/bin:/usr/local/bin

只有这些目录下的命令可以被调用,如果要root的权限(如ifconfig配置ip)需要加上/sbin