首页 > 代码库 > 构建python框架的方法与步骤

构建python框架的方法与步骤

为什么你想要自己构建一个 web 框架呢?我想,原因有以下几点:

你有一个新奇的想法,觉得将会取代其他的框架

你想要获得一些名气

你遇到的问题很独特,以至于现有的框架不太合适

你对 web 框架是如何工作的很感兴趣,因为你想要成为一位更好的 web 开发者。

接下来的笔墨将着重于最后一点。这篇文章旨在通过对设计和实现过程一步一步的阐述告诉读者,我在完成一个小型的服务器和框架之后学到了什么。你可以在这个 代码仓库 中找到这个项目的完整代码。

我希望这篇文章可以鼓励更多的人来尝试,因为这确实很有趣。它让我知道了 web 应用是如何工作的,而且这比我想的要容易的多!

范围

python框架可以处理请求-响应周期、身份认证、数据库访问、模板生成等部分工作。Web 开发者使用框架是因为,大多数的 web 应用拥有大量相同的功能,而对每个项目都重新实现同样的功能意义不大。

比较大的的框架如 Rails 和 Django 实现了高层次的抽象,或者说自备电池“batteries-included”,这是 Python 的口号之一,意即所有功能都自足。)。而实现所有的这些功能可能要花费数千小时,因此在这个项目上,我们重点完成其中的一小部分。在开始写代码前,我先列举一下所需的功能以及限制。

功能:

处理 HTTP 的 GET 和 POST 请求。你可以在 这篇 wiki 中对 HTTP 有个大致的了解。

实现异步操作(我喜欢 Python 3 的 asyncio 模块)。

简单的路由逻辑以及参数撷取。

像其他微型框架一样,提供一个简单的用户级 API 

支持身份认证,因为学会这个很酷啊(微笑)。

限制:

将只支持 HTTP 1.1 的一个小子集,不支持传输编码transfer-encodingHTTP 认证http-auth、内容编码content-encoding(如 gzip)以及 持久化连接 等功能。

不支持对响应内容的 MIME 判断 用户需要手动指定。

不支持 WSGI - 仅能处理简单的 TCP 连接。

不支持数据库。

我觉得一个小的用例可以让上述内容更加具体,也可以用来演示这个框架的 API

from diy_framework import App, Router

from diy_framework.http_utils import Response

#GET simple route

async def home(r):

rsp= Response()

rsp.set_header(’Content-Type’, ’text/html’)

rsp.body= ’test

return rsp

#GET route +params

async def welcome(r,name):

return "Welcome {}".format(name)

#POST route +body param

async def parse_form(r):

if r.method== ’GET’:

return ’form’

else:

name=r.body.get(’name’, ’’)[0]

password=r.body.get(’password’, ’’)[0]

return "{0}:{1}".format(name,password)

#application=router+http server

router= Router()

router.add_routes({

r’/welcome/{name}’:welcome,

r’/’:home,

r’/login’:parse_form,})

app= App(router)

app.start_server()

’ 用户需要定义一些能够返回字符串或 Response 对象的异步函数,然后将这些函数与表示路由的字符串配对,最后通过一个函数调用(start_server)开始处理请求。

完成设计之后,我将它抽象为几个我需要编码的部分:

接受 TCP 连接以及调度一个异步函数来处理这些连接的部分

将原始文本解析成某种抽象容器的部分

对于每个请求,用来决定调用哪个函数的部分

将上述部分集中到一起,并为开发者提供一个简单接口的部分

我先编写一些测试,这些测试被用来描述每个部分的功能。几次重构后,整个设计被分成若干部分,每个部分之间是相对解耦的。这样就非常好,因为每个部分可以被独立地研究学习。以下是我上文列出的抽象的具体体现:

一个 HTTPServer 对象,需要一个 Router 对象和一个 http_parser 模块,并使用它们来初始化。

HTTPConnection 对象,每一个对象表示一个单独的客户端 HTTP 连接,并且处理其请求-响应周期:使用 http_parser 模块将收到的字节流解析为一个 Request 对象;使用一个 Router 实例寻找并调用正确的函数来生成一个响应;最后将这个响应发送回客户端。

一对 Request 和 Response 对象为用户提供了一种友好的方式,来处理实质上是字节流的字符串。用户不需要知道正确的消息格式和分隔符是怎样的。

一个包含路由:函数对应关系的 Router 对象。它提供一个添加配对的方法,可以根据 URL 路径查找到相应的函数。

最后,一个 App 对象。它包含配置信息,并使用它们实例化一个 HTTPServer 实例。

让我们从 HTTPConnection 开始来讲解各个部分。

模拟异步连接

为了满足上述约束条件,每一个 HTTP 请求都是一个单独的 TCP 连接。这使得处理请求的速度变慢了,因为建立多个 TCP 连接需要相对高的花销(DNS 查询,TCP 三次握手, 慢启动 等等的花销),不过这样更加容易模拟。对于这一任务,我选择相对高级的 asyncio-stream 模块,它建立在 asyncio 的传输和协议 的基础之上。我强烈推荐你读一读标准库中的相应代码,很有意思!

一个 HTTPConnection 的实例能够处理多个任务。首先,它使用 asyncio.StreamReader 对象以增量的方式从 TCP 连接中读取数据,并存储在缓存中。每一个读取操作完成后,它会尝试解析缓存中的数据,并生成一个 Request 对象。一旦收到了这个完整的请求,它就生成一个回复,并通过 asyncio.StreamWriter 对象发送回客户端。当然,它还有两个任务:超时连接以及错误处理。

你可以在 这里 浏览这个类的完整代码。我将分别介绍代码的每一部分。为了简单起见,我移除了代码文档。

class HTTPConnection(object):

def init(self,http_server,reader,writer):

self.router=http_server.router

self.http_parser=http_server.http_parser

self.loop=http_server.loop

self._reader=reader

self._writer=writer

self._buffer=bytearray()

self._conn_timeout= None

self.request= Request()

这个 init 方法没啥意思,它仅仅是收集了一些对象以供后面使用。它存储了一个 router 对象、一个 http_parser 对象以及 loop 对象,分别用来生成响应、解析请求以及在事件循环中调度任务。

然后,它存储了代表一个 TCP 连接的读写对,和一个充当原始字节缓冲区的空 字节数组 。_conn_timeout 存储了一个 asyncio.Handle 的实例,用来管理超时逻辑。最后,它还存储了 Request 对象的一个单一实例。

下面的代码是用来接受和发送数据的核心功能:

async def handle_request(self):

try:

while not self.request.finished and not self._reader.at_eof():

data=http://www.mamicode.com/await self._reader.read(1024)

if data:

self._reset_conn_timeout()

await self.process_data(data)

if self.request.finished:

await self.reply()

elif self._reader.at_eof():

raise BadRequestException()

except (NotFoundException,

BadRequestException) as e:

self.error_reply(e.code,body=Response.reason_phrases[e.code])

except Exception as e:

self.error_reply

 

文章来源:SDK.cn

构建python框架的方法与步骤