首页 > 代码库 > 从RPC开始(二)、序列化
从RPC开始(二)、序列化
在C++的世界里构建一个序列化框架;并非一件困难的事情,但也并非简单。因此,需要分成两部分来完成这项任务:
1、序列化容器。
2、序列化方式。
前者,很容易理解;但也决定着我们将要存储数据的方式:二进制抑或其他。二进制方式,很容易想到和使用的方式;但也最容易以极不安全的方式去使用;因为,为了各种原因,在存储时我们极易丢掉原本的类型信息,使得一切都靠“人工约定”这种很不靠谱的方式。而其他方式,如文本,我们则可以相对地在其中保留很多信息;即使最后的成品并非是让人类来阅读的,但构建过程中,为了各种目的(如调试),总会加入各种信息的。
后者,则决定了该框架的可用性以及健壮性;在此有两种方式可选择:接口和全局重载函数。第一个,是完全面向对象的方式,也是以侵入式地决定了一个类型是否可以被序列化;看似完美,但对于已完善的不可更改的类型,是有着致命性的不足:无法被我们的框架所包容(例如基本类型)! 第二个,使用类似“operator<<”的cout方案;可以扩展式地支持所有类型,但,是的有“但是”,其在一定程度上破坏了“封装”,C++友元函数便是这一争论的中心。当然,这无关紧要。
一、容器
第一步,自然我们需要选择是使用固定的一个完善的类来完成这项工作;还是,使用相对可扩展的接口定义。前者,在我们的RPC中是很理想的方式:我们只需要二进制。而后者,则关系到整个序列化框架本身的可复用性——如果,我们想要支撑永久化对象(即:保存到文件和从文件恢复)呢?
所以,对此,只能使用接口:
class IBuffer{//没有写所必要的virtual ~IBufer(){} public: virtual void write(const byte* buffer, size_type length) = 0; virtual bool read(byte* buffer, size_type length) = 0; public: virtual size_type length()const = 0; virtual const byte* data()const{ return nullptr;} };
以上便是我们所需要的最基本的接口了。基本上和一个文件所提供的功能一致;需要说明的是“data()”函数,其既不是纯虚的,其也有一个不怎么安全的默认返回值:nullptr。很简单:其是为了兼容MemoryBuffer和FileBuffer而设定的!在MemoryBuffer的实现中我们需要重写该函数以传递二进制序列化后的结果;而FileBuffer则无视这一接口。而且,默认返回一个"nulllptr"也只有一个作用:该函数会返回【空指针】,请注意!
当然,这并非尽头;在使用该接口时,我们将会十分的难受!因为,没有可设置的偏移量接口;是的,我们需要偏移量,当需要完成更复杂的操作时。比如,我们抛个异常:
.... buffer->read(...); throw XXX;
作为一个健壮的系统,我们需要支持一定程度的【异常安全】:在异常抛出后,我们捕获它,并重置偏移量,然后继续抛出。最经典的场景是:在反序列化的某处,检测到类型不匹配或缓冲区不足,我们需要抛出异常,而非错误地继续走下去。 这是第二部分“序列化方式”的关键之一。
因此,我们需要如下新的接口:
class IBuffer{//依然没有必要的virtual ~IBuffer(){} public: virtual void write(const byte* buffer, size_type length) = 0; virtual bool read(byte* buffer, size_type length) = 0; virtual void clear() = 0;//刺眼8 virtual void reset() = 0;//刺眼9 public: virtual size_type length()const = 0; virtual size_type bufferSize()const = 0;//刺眼1 virtual const byte* data()const{ return nullptr;} virtual const byte* buffer()const{ return nullptr;}//刺眼2 public: virtual size_type tellRead()const = 0; virtual size_type tellWrite()const = 0; virtual size_type seekRead(size_type offset) = 0; virtual size_type seekWrite(size_type offset) = 0; virtual size_type setLength(size_type length) = 0;//刺眼3 public: virtual bool addBuffer(IBuffer* buffer, size_type offset) = 0;//刺眼4 virtual void reserve(size_type length) = 0;//刺眼5 public: virtual void serialize(IBuffer* buffer)const = 0;//刺眼6 virtual bool deserialize(IBuffer* buffer) = 0;//刺眼7 };
上面突然间有了很多刺眼的新接口;因为,我不想浪费篇幅,打算一次性讲完。上面的“tell/seek”系列4个接口,便是新增的偏移量支持,自然不需多说。
那些“刺眼”系列接口,一定程度上是其作为容器的证明;clear()用来重置整个容器,包括删除所有使用到的内存或硬盘资源;reset()只是简单地重置读写偏移量以复用容器;setLength()/reserve则对应了STL中的resize和reserve;addBuffer()是为了支持直接地从不同的Buffer中写入内容(如MemoryBuffer与FileBuffer的互操作,以不借用第三方资源的方式)。
bufferSize()与buffer(),需要特殊解释一下;在TCP发送时,我们需要一个头来存放整个消息的大小,否则我们需要发送2次(第一次为消息大小,第二次为消息本身)。所以,为了支持能够获得一个自身带有大小的缓冲区,我们需要这样的接口支持:buffer()返回包含内容大小为头的缓冲区;bufferSize()获得含头的缓冲区大小。
在以上接口的支持下,我们便能够完成所需要的所有事情了;当然,你需要实现它们。
二、方式
面向对象语言(编译型),都有一个问题:值类型和引用类型的隔阂。同样在C++中也有类似的问题:基本类型和自定义类。前者,我们无法做任何的改变;但他们和后者有着巨大的距离:没有成员函数。意味着,我们只能够以函数重载的方式去兼容二者:
void Serialize(IBuffer* buffer, int);//基本类型1 void Serialize(IBuffer* buffer, double);//基本类型2 void Serialize(IBuffer* buffer, const Something&);//自定义类型1
作为一个现代的C++人士,我们不能够容忍这样的“无聊”;因为我们可以进行类型萃取:
1、如果为基本类型,我们直接保存其二进制值;
2、如果其为自定义类,且有成员函数“serialize/deserialize”,我们通过调用该配套函数进行序列化和反序列化;
3、如果其为自定义类,且是POD,同样直接保存其二进制值;
4、以上的其他情况,编译器会直接报错。
以上方案,可以通过C++11完成。至于方式,其涉及模板元编程;我并不详细描述,大致通过以下方式完成:
1、使用TypeList定义基本类型的类型列表(当然可以逐个特化,但这样失去了味道),以判断是否为基本类型;
2、使用C++11的decltype判断是否有“serialize/deserialize”成员函数;
3、在类型信息中查找该类型是否为POD且不为指针。
然后,使用元编程将以上3个信息融合得到最佳的选择。详细的,可以参考未来的某天,我将要讲的《基于C++11的类型系统》。或者,可以依次搜索:泛型编程与设计模式之应用(TypeList)、C++SFINAE(关键技术decltype)、STL的type_traits。
有一个关键的地方不得不提:不为指针。是的,我没有支持指针的序列化;因为,我们并不能够知道一个指针是一个元素还是一个数组。当然,我们可以支持shared_ptr和vector,以更健壮的方式。
总结一下,在你学完所有以上提到的及术后,我们便能够创建出以下序列化方式:
1、基本类型和自定义POD调用以下方式:
template<typename T> void _Serialize(IBuffer* buffer, const T& val) { buffer->write((const byte*)&val, sizeof(T)); } template<typename T> bool _Deserialize(IBuffer* buffer, T& val) { return buffer->read((byte*)&val, sizeof(T)); }
2、自定义类型且有配套函数:
template<typename T> void _Serialize(IBuffer* buffer, const T& val) { val.serialize(buffer); } template<typename T> bool _Deserialize(IBuffer* buffer, T& val) { return val.deserialize(buffer); }
还有一个问题就是,对于已完善的不可更改类的处理:很简单和自然,重载以上_Serialize/_Deserialize函数;比如STL中的std::string就需要如此处理。
还有一个不可忽视的问题:健壮性!也就是,我们需要感知类型,我们需要类型信息。很自然的方式,我们在序列化时写入类型信息;在反序列化首先获取该信息,并判断是否类型匹配。
可用的方式是:写入类型ID;通常来说是一个字符串。但,问题的关键是谁来生成并提供这个字符串?
自然,依然使用C++的方式:模板特化
template<> struct TypeInfo<Something>{ static std::string Name(){ return "Something";} };
这种方式,很繁琐,意味着:对于每一个需要序列化的类型,我们都需要特化一个模板!但,这是必不可少的,因为我们没有完整的运行时类型系统,我们可以操作类型的唯一机会,只在编译期。不要抱怨,每个类,也只需要一次而已,代价并不高。
完了。?没有,这个“判断过程”由谁来做?绝不是手动进行。到这里,我们需要引入一个“代理”:Any,可变类型。也就是,其可以包装所有类型;然后通过模板函数来获取值:
template<typename T> void Any::from(const T& val); template<typename T> T& Any::to(); template<typename T> const T& Any::to()const;
在序列化时,我们需要首先将类型包装到Any中,然后通过Any执行序列化;在另一端,我们将Buffer交给Any然后再调用to<T>()时反序列化;这时,我们就有一个中间层帮我们完成类型信息的写入和匹配:
void _AnyData::serialize(IBuffer* buffer) { Serialize(buffer, TypeInfo<T>::Name()); Serialize(buffer, mData); } bool _AnyData::deserialize(IBuffer* buffer) { std::string name; if(!Deserialize(buffer, name)){ return false; }
if(name != TypeInfo<T>::Name()){
return false;
}
Deserialize(buffer, mData);
return true; }
当然,以上仅仅是示例并非可用的代码;但,也差不多了。这样,我们便能够完成序列化和反序列化的完整操作,并且在安全的环境下。当然需要说明一下所谓的安全:是指我们能够感知错误的反序列化,并有机会进行相应的处理。Deserialize返回布尔值,便是作为一个通知(我并没有选择抛出异常)。
以上,便是序列化框架的所有了;当然,并没有列出所有的内容;但也,足够说明,C++能够以我的方式构造出一个相对安全且可用的序列化。
PS:很多东西,我并没有展开;有机会的话,可以等开源我的代码;但很渺茫。
从RPC开始(二)、序列化