关于Protobuf

    protobuf是google的一个开源序列化框架,基于二进制数据交换格式,兼顾了效率和灵活性。详见http://code.google.com/p/protobuf/

    本文假定读者对protobuf已经有了初步接触,故略过一些基本和细节的描述,着重于介绍protobuf在笔者项目中的应用思路。因项目主要编程语言 是c++,所以本文的示例着眼于如何在c++中借助protobuf简化一些通用模块的处理。对于其它语言(java,python等),如果语言本身没 有更好用的特性或者更方便的库的话,也可采取类似做法。


不仅仅是网络消息序列化

    虽然protobuf最广泛的应用是网络数据交换,但在使用过程中发现其框架本身的设计具有极灵活的扩展性,对于服务器来说,完全可以作为通用的数据解析层。一言以蔽之,即可以将各种形式的外部数据以非常易用的方式存取,通过最自然的本地语言对象进行操作(在本文中是c++)。借助protobuf框架的以下特性,构建protobuf生态圈将会是一个轻松愉快的过程:

1.代码生成器

    protobuf提供了自定义代码生成器的支持——“代码生成器”远没有它听起来那么复杂,相反,得益于protobuf合理的架构设计,笔者项目中的各类生成器一般只有几百行代码。

    protobuf的代码生成器可以跟静态语言的编译器进行类比,编译器:

    源码 ---> (编译器前端) ---> 中间代码 ---> (编译器后端) ---> 机器码

    而protobuf的代码生成过程如下:

    proto文件 ---> (解析器) --->  本地语言对象模型 ---> (代码生成器) ---> 本地语言源码

    我们要做的仅仅是自定义代码生成后端,只需关心proto文件中定义的对象模型即可,复杂的proto文件解析由protoc内置的解析器完成。

2.反射机制

    protobuf提供了反射机制(包括c++的版本),以实现对运行期对象进行内省。相关示例代码见http://code.google.com/apis/protocolbuffers/docs/reference/cpp/google.protobuf.message.html

    借助反射,可以完成一些在传统c++设计领域中难以完成的事情,比如对一个对象的所有属性进行迭代,比如根据属性的名字进行存取等等。其实现也相当高效,例如如下代码:

Message* message = ...;  
const Reflection* reflection = ...;  
const FieldDescriptor* field = ...;  
reflection->SetInt32(message, field);

最后一行对于message相应属性的定位是直接通过地址偏移来实现的(有点hack的意味),其偏移值通过代码生成器生成并保存在FieldDescriptor中。

案例一:利用Protobuf实现数据库粘合层

   

动机:

    由于语言特性的原因,c++中对数据库的操作一直是个比较繁琐的过程。以mysql为例,官方的c api远不适合不加封装直接使用,mysql++库的Specialized SQL Structures尚可,但也还不够便利,比如没有has语义使得只update一个结构的其中几个字段的写法比较冗长,比如表的字段有增删需要手动维护c++中相应的结构等等。

    利用protobuf,完全可以实现更易用而强大的数据库粘合层。

   

简单示例:

    以下是笔者项目中数据库粘合层的用法示例(为了便于说明,做了些简化,没有演示索引、字符集、存储引擎等功能)。

    首先,定义proto文件。

test_data.proto:

message TestData  
{  
    required int32 id = 1;  
    optional string name = 2;  
}

这样,自定义的代码生成器会生成以下sql(在笔者的项目中,这一步是自动完成的,每当有需要导出sql的proto文件,则编译时自动生成相应sql并执行,相应的DROP语句是版本降级时用的):

CREATE TABLE TESTDATA(  
    id INT NOT NULL,  
    name VARCHAR);  
DROP TABLE TESTDATA;

  在c++中,就可以用以下方式操作:

Query query = database->Query();  
TestData data;    // proto文件中定义的对象  
data.set_id(1);  
data.set_name("Snake");  
if (!query.Insert(data)) { // INSERT INTO TESTDATA (id, name) VALUES(1, "Snake");  
    ....  
}  
data.set_name("Raiden");  
TestData where;  
where.set_id(1);  
if (!query.Update(data, where)) { // 通过同类型对象来描述where子句, 相当于where id=1  
    ...  
}  
std::vector<TestData> messages;  
query.Select(messages,     // 把结果集储存到messages中,接受std顺序容器, 也接受单个message  
             Columns("id")("name"),   // 指定column, SELECT * 可用AllColumns()  
             Where("id") == 1 && Where("name") == "Raiden",    // 另一种形式的WHERE子句  
             OrderBy("id").Desc(),   // ORDER BY ID DESC  
             Limit(10));   // LIMIT 10, 仅作为示例  
for (size_i = 0; i < messages.size(); ++i) {  
    std::cout << messages[i].DebugString();  
}  
query.Delete<TestData>();    // DELETE FROM TESTDATA, 同样支持两种形式的WHERE

以上只是基本用法示例。在笔者项目中实现的一些扩展功能还有(主要是利用protobuf的option机制实现):

    1、导出控制。可以灵活设置单个proto文件、单个消息、单个字段是否需要导出。

    2、版本号控制。可以指明某个字段的版本号,自动化生成相应脚本,方便运营时升级/降级。

    4、对复杂结构的支持。原生数据类型基本上都可以跟sql中的数据类型一一对应,对于repeated字段和子message,采用blob类型存储其序列化后的数据。

    5、数据库相应选项声明。比如设置表索引、所用引擎、字符集、字段长度、auto_increment等等。

    6、增量update。可以自动比较message与上次update的差异,只update有改动的字段。

   

    考虑如下案例:给原有的数据库表增加一个字段,读写,发送给其它网络主机进行处理。采用最原始的纯手工方式需要经历以下步骤:

    1、手动写alter table并执行;

    2、给c++中相应结构增加字段;

    3、修改insert,select,update等等涉及该字段的sql;

    4、修改相关网络同步的消息代码,增加此字段的同步;

    很快,涉及数据库的改动成为了bug滋生的温床。

    再看看前述方案,比如需要给TestData增加一新字段new_column,只需要做这么一件事,很好的体现了SPOT原则:

message TestData  
{  
    required int32 id = 1;  
    optional string name = 2;  
    optional float new_column = 3 [(sql.column_version) = "1.0.1"];  
}

new_column 为新增字段,其后跟随的选项描述了其版本号。不用再做其它操作——alter table的sql语句被自动生成并执行,update、insert、select等调用自动兼容(内部实现是通过反射机制来拼接sql语句的),结构 天生为网络数据交换而设计,所以不用改动网络同步相关代码,也不用操心版本不匹配的问题。Perfect!

              ...待续,下篇将介绍protobuf与lua结合、用protobuf进行配置文件解析等方案。


08-28 11:40