关于Protobuf
protobuf是google的一个开源序列化框架,基于二进制数据交换格式,兼顾了效率和灵活性。详见http://code.google.com/p/protobuf/。
本文假定读者对protobuf已经有了初步接触,故略过一些基本和细节的描述,着重于介绍protobuf在笔者项目中的应用思路。因项目主要编程语言 是c++,所以本文的示例着眼于如何在c++中借助protobuf简化一些通用模块的处理。对于其它语言(java,python等),如果语言本身没 有更好用的特性或者更方便的库的话,也可采取类似做法。
不仅仅是网络消息序列化
虽然protobuf最广泛的应用是网络数据交换,但在使用过程中发现其框架本身的设计具有极灵活的扩展性,对于服务器来说,完全可以作为通用的数据解析层。一言以蔽之,即可以将各种形式的外部数据以非常易用的方式存取,通过最自然的本地语言对象进行操作(在本文中是c++)。借助protobuf框架的以下特性,构建protobuf生态圈将会是一个轻松愉快的过程:
1.代码生成器
protobuf提供了自定义代码生成器的支持——“代码生成器”远没有它听起来那么复杂,相反,得益于protobuf合理的架构设计,笔者项目中的各类生成器一般只有几百行代码。
protobuf的代码生成器可以跟静态语言的编译器进行类比,编译器:
源码 ---> (编译器前端) ---> 中间代码 ---> (编译器后端) ---> 机器码
而protobuf的代码生成过程如下:
proto文件 ---> (解析器) ---> 本地语言对象模型 ---> (代码生成器) ---> 本地语言源码
我们要做的仅仅是自定义代码生成后端,只需关心proto文件中定义的对象模型即可,复杂的proto文件解析由protoc内置的解析器完成。
2.反射机制
protobuf提供了反射机制(包括c++的版本),以实现对运行期对象进行内省。相关示例代码见http://code.google.com/apis/protocolbuffers/docs/reference/cpp/google.protobuf.message.html。
借助反射,可以完成一些在传统c++设计领域中难以完成的事情,比如对一个对象的所有属性进行迭代,比如根据属性的名字进行存取等等。其实现也相当高效,例如如下代码:
Message* message = ...;
const Reflection* reflection = ...;
const FieldDescriptor* field = ...;
reflection->SetInt32(message, field);
最后一行对于message相应属性的定位是直接通过地址偏移来实现的(有点hack的意味),其偏移值通过代码生成器生成并保存在FieldDescriptor中。
案例一:利用Protobuf实现数据库粘合层
动机:
由于语言特性的原因,c++中对数据库的操作一直是个比较繁琐的过程。以mysql为例,官方的c api远不适合不加封装直接使用,mysql++库的Specialized SQL Structures尚可,但也还不够便利,比如没有has语义使得只update一个结构的其中几个字段的写法比较冗长,比如表的字段有增删需要手动维护c++中相应的结构等等。
利用protobuf,完全可以实现更易用而强大的数据库粘合层。
简单示例:
以下是笔者项目中数据库粘合层的用法示例(为了便于说明,做了些简化,没有演示索引、字符集、存储引擎等功能)。
首先,定义proto文件。
test_data.proto:
message TestData
{
required int32 id = 1;
optional string name = 2;
}
这样,自定义的代码生成器会生成以下sql(在笔者的项目中,这一步是自动完成的,每当有需要导出sql的proto文件,则编译时自动生成相应sql并执行,相应的DROP语句是版本降级时用的):
CREATE TABLE TESTDATA(
id INT NOT NULL,
name VARCHAR);
DROP TABLE TESTDATA;
在c++中,就可以用以下方式操作:
Query query = database->Query();
TestData data; // proto文件中定义的对象
data.set_id(1);
data.set_name("Snake");
if (!query.Insert(data)) { // INSERT INTO TESTDATA (id, name) VALUES(1, "Snake");
....
}
data.set_name("Raiden");
TestData where;
where.set_id(1);
if (!query.Update(data, where)) { // 通过同类型对象来描述where子句, 相当于where id=1
...
}
std::vector<TestData> messages;
query.Select(messages, // 把结果集储存到messages中,接受std顺序容器, 也接受单个message
Columns("id")("name"), // 指定column, SELECT * 可用AllColumns()
Where("id") == 1 && Where("name") == "Raiden", // 另一种形式的WHERE子句
OrderBy("id").Desc(), // ORDER BY ID DESC
Limit(10)); // LIMIT 10, 仅作为示例
for (size_i = 0; i < messages.size(); ++i) {
std::cout << messages[i].DebugString();
}
query.Delete<TestData>(); // DELETE FROM TESTDATA, 同样支持两种形式的WHERE
以上只是基本用法示例。在笔者项目中实现的一些扩展功能还有(主要是利用protobuf的option机制实现):
1、导出控制。可以灵活设置单个proto文件、单个消息、单个字段是否需要导出。
2、版本号控制。可以指明某个字段的版本号,自动化生成相应脚本,方便运营时升级/降级。
4、对复杂结构的支持。原生数据类型基本上都可以跟sql中的数据类型一一对应,对于repeated字段和子message,采用blob类型存储其序列化后的数据。
5、数据库相应选项声明。比如设置表索引、所用引擎、字符集、字段长度、auto_increment等等。
6、增量update。可以自动比较message与上次update的差异,只update有改动的字段。
考虑如下案例:给原有的数据库表增加一个字段,读写,发送给其它网络主机进行处理。采用最原始的纯手工方式需要经历以下步骤:
1、手动写alter table并执行;
2、给c++中相应结构增加字段;
3、修改insert,select,update等等涉及该字段的sql;
4、修改相关网络同步的消息代码,增加此字段的同步;
很快,涉及数据库的改动成为了bug滋生的温床。
再看看前述方案,比如需要给TestData增加一新字段new_column,只需要做这么一件事,很好的体现了SPOT原则:
message TestData
{
required int32 id = 1;
optional string name = 2;
optional float new_column = 3 [(sql.column_version) = "1.0.1"];
}
new_column 为新增字段,其后跟随的选项描述了其版本号。不用再做其它操作——alter table的sql语句被自动生成并执行,update、insert、select等调用自动兼容(内部实现是通过反射机制来拼接sql语句的),结构 天生为网络数据交换而设计,所以不用改动网络同步相关代码,也不用操心版本不匹配的问题。Perfect!
...待续,下篇将介绍protobuf与lua结合、用protobuf进行配置文件解析等方案。