Flatbuffer详解

发布时间:2023-05-16

一、Flatbuffer map

Flatbuffers最为常见的数据结构是“Table”,但我们也可以使用“Map”这样的数据结构来代替它。Map类似于C++中的std::map和JavaScript中的Object,可以通过字符串键值对来快速访问数据。在Flatbuffers中,我们可以通过“MapEntry”来定义一个Map。

flatbuffers::FlatBufferBuilder fbb;
std::vector<flatbuffers::Offset<flatbuffers::String>> keys_vec;
std::vector<flatbuffers::Offset<MyType>> values_vec;
auto key1 = fbb.CreateString("key1");
auto value1 = CreateMyType(fbb, 1, 2);
auto key2 = fbb.CreateString("key2");
auto value2 = CreateMyType(fbb, 3, 4);
keys_vec.push_back(key1);
values_vec.push_back(value1);
keys_vec.push_back(key2);
values_vec.push_back(value2);
auto my_map = CreateMyMapDirect(fbb, &keys_vec, &values_vec);

上述代码定义了一个包含两个键值对的Map,其中key1和key2分别对应值为value1和value2的MyType对象。使用Flatbuffers map的好处在于可以极大简化代码和数据定义,传统的方法可能需要定义嵌套的数据结构。

二、Flatbuffers protobuf比较

Flatbuffers和Google Protocol Buffers(GPB)是两种非常流行的序列化库,下面我们将它们做一些对比。

1、性能

Flatbuffers优于GNP,Flatbuffer不需要解码直接拥有原始内存数据,并且不需要反序列化,因此可以在不同设备和语言之间高效地传递数据。

2、空间占用

Flatbuffers比GPB更加高效,Flatbuffers对数据进行缓冲区分配,因此可以减少内存分配的次数。在实践中,由于PB的标记存储需求较高,PB会比Flatbuffers拥有更大的序列化文件尺寸。

3、接口设计

Flatbuffers和GPB的接口设计差别较大。Flatbuffers需要更多样化的模式,例如内存池等。GPB的设计倾向于ATL/IDL类型定义,因而在不同语言之间交互更加方便。

三、Flatbuffer官网

Flatbuffers官网提供了完整的代码实现,文档以及示例。如果你有任何Flatbuffers方面的问题,官网都可以提供给你足够的解决方案。 下面是官网的访问路径:https://google.github.io/flatbuffers/

四、Flatbuffer golang

Flatbuffer非常方便地支持Go语言,它拥有自动生成Go代码的工具和Flatbuffer SDK。下面是一个简单的Flatbuffers Go示例:

type Monster struct {
    Pos *Vec3
    Hp byte
    Name string
}
builder := flatbuffers.NewBuilder(0)
pos := CreateVec3(builder, 1.0, 2.0, 3.0)
name := builder.CreateString("Monster")
MonsterStart(builder)
MonsterAddPos(builder, pos)
MonsterAddHp(builder, 300)
MonsterAddName(builder, name)
monster := MonsterEnd(builder)
builder.Finish(monster)

上述代码会生成一个Flatbuffer序列化的Monster对象。

五、Flatbuffer和protobuf选取

Flatbuffers和Google Protobufs都是常见的序列化库,但它们有着不同的使用场景。在选取使用那种序列化库之前,我们需要分析自己的使用场景和需求。

1、Protobuf更适合:

如果你需要在大量不同语言的系统之间通信、或者有高度版本化的场景,Protobuf打包效率更高,并且支持更多的语言特性。不过需要注意GBPs的使用场景和限制。

2、Flatbuffers更适合 :

如果你需要高效整体的读取和写入更快的速度、或者你需要在自己的内存池上序列化和解析数据,Flatbuffers则会更适合你。

总结

Flatbuffers是一种高效的序列化框架,拥有高效、轻量级和高自由度等优点。根据应用需求选择序列化框架非常重要,希望本文对大家的使用选择有所启示。