首页 > 代码库 > 使用C++ boost从零构建一个异步文件IO系统

使用C++ boost从零构建一个异步文件IO系统

前言

  • 因为本科毕业设计中要做一个分布式文件系统,其中一个模块需要实现文件IO。为了验证我对异步IO的理解,决定造一个异步文件IO的轮子。操作系统已经给出各种异步操作的API,如重叠IO, IOCP,kqueue,select,poll,epoll等机制,而且C++也有很多跨平台的异步IO库,如libevent,boost::asio等。我参考已有的实现来完善这个小系统的功能。
  • 渣技术,渣代码,出现问题请各位指出。

概述

  • 同步与异步:

  同步:假如我想对一个文件(socket也同理)进行处理,那么一般的流程就是:

  

1 fstream file;
2 file.open();
3 file.read();
4 //do something
5 file.close();

  通常情况下,当这个线程运行到read()时会被阻塞,直到文件读取完成。

  异步:

  还是上面的代码,我在read()时通过操作系统或库提供的异步机制,告诉操作系统我想读一个文件,数据读完后执行某个功能;而当前线程在交代完操作系统该做什么工作之后,还可以做些别的事情(线程不必等待文件IO完成)。

  • 线程池

  为了避免IO阻塞线程导致程序无响应,完全可以为每一个文件操作创建一个线程,这样就可以同时处理多个文件了。但是创建线程,切换线程,销毁线程也是一笔资源开销,如果想重复使用已有的线程,就可以使用线程池。作为线程池,至少要提供创建线程和提交任务的功能,复杂一点可以智能控制线程池里的线程数量。这个文件系统中就会使用线程池。Windows API中的ThreadPool就很好用,但既然是造轮子,那么为了造轮子而造轮子也没什么关系,干脆就写个简单的线程池出来。

  • 使用的库

  这个模块只使用stl 和boost 两个库。

  stl主要涉及容器和fstream。boost涉及到智能指针shared_ptr,线程同步shared_mutex,lock_guard, boost::filesystem中的path和一些文件操作,线程操作创建退出等。

  •  智能指针

  自古以来内存管理都是C/C++中的重头戏,智能指针的功能就是分配出来的内存由库管理,如果某个智能指针指向的内存,通过其他的智能指针也能访问到(即有多个引用),那么该智能指针即时被销毁,指向的内存也不会销毁;只有这块内存没有引用,才会被库释放。

  • boost::filesystem

  这个库提供了一些跨平台文件操作的API,如文件夹遍历,查看属性,删除文件等。path类可以记录跨平台的路径。

  • 因为水平有限,这个模块基本不会出现跟模板有关的实现。(以后再说)

实现: Talk is cheap,show me the code.

https://github.com/nemoofnemo/Cluster/tree/master/FileSystem

--未完待续

使用C++ boost从零构建一个异步文件IO系统