1. 介绍

在本次分享中，主要探讨下如何使用 Protobuf（Protocol Buffers）在 Node.js 中实现高效的数据序列化和传输。Protobuf 是一种语言无关、平台无关的数据序列化协议，具有较小的数据大小、较快的编解码速度和良好的兼容性，因此在分布式系统中广泛应用于数据传输、网络通信和协议定义、数据存储等场景。

2. Protobuf 的基本概念

消息定义语言（Message Definition Language）

消息定义语言（Message Definition Language）是一种用于描述数据结构和消息格式的语言。它用于定义在不同系统之间传递和交换数据的消息格式，通常用于序列化和反序列化数据。

在 Protobuf 中，使用的就是一种特定的消息定义语言，即 Protobuf 的消息定义语言（Proto IDL）。它提供了一种结构化的方式来定义消息的字段、类型和其他元数据信息。

Proto IDL 具有简洁且易于理解的语法，用于描述消息的结构和规则。它包括以下关键元素：

  1. 消息（Message）：用于定义消息的结构，包含一组字段。每个字段都有一个唯一的标识符、类型和可选的修饰符。
  2. 字段（Field）：用于描述消息中的一个数据项。字段由类型、名称和标识符组成。标识符用于在消息编码时唯一标识该字段。
  3. 类型（Type）：用于指定字段的数据类型，包括基本类型（如整数、浮点数、布尔值、字符串）和其他消息类型（嵌套消息）。
  4. 枚举（Enum）：用于定义一组可选值的枚举类型。每个枚举值都有一个唯一的名称和相应的数值。

  5. 服务（Service）：用于定义一组 RPC（Remote Procedure Call）操作，允许在不同系统之间进行通信和交互。

    syntax = "proto2";

message ExampleMessage {
  // 基本类型字段
  int32 int_field = 1;
  float float_field = 2;
  double double_field = 3;
  bool bool_field = 4;
  string string_field = 5;
  bytes bytes_field = 6;

  // 枚举类型字段
  enum EnumType {
    ENUM_VALUE1 = 0;
    ENUM_VALUE2 = 1;
    ENUM_VALUE3 = 2;
  }
  EnumType enum_field = 7;

  // 嵌套消息类型字段
  message NestedMessage {
    int32 nested_int_field = 1;
    string nested_string_field = 2;
  }
  NestedMessage nested_field = 8;

  // 重复字段（数组）
  repeated int32 repeated_int_field = 9;
  repeated string repeated_string_field = 10;

  // Map 字段
  map<int32, string> map_field = 11;
}

//在下面的示例中，我们定义了一个名为 “ExampleService” 的服务，它包含了两个操作：GetUser 和 AddUser。每个操作都有特定的输入和输出消息类型。
//rpc GetUser(GetUserRequest) returns (GetUserResponse); 定义了一个名为 GetUser 的操作，它接收一个 GetUserRequest 消息作为输入，并返回一个 GetUserResponse 消息作为输出。
// rpc AddUser(AddUserRequest) returns (AddUserResponse); 定义了一个名为 AddUser 的操作，它接收一个 AddUserRequest 消息作为输入，并返回一个 AddUserResponse 消息作为输出。
service ExampleService {
  rpc GetUser(GetUserRequest) returns (GetUserResponse);
  rpc AddUser(AddUserRequest) returns (AddUserResponse);
  // 其他操作...
}

消息类型和字段

Protobuf 中的消息类型包括标量类型和复合类型。标量类型包括整数、浮点数、布尔值等基本类型，而复合类型则可以包含其他消息类型作为字段。

数据结构和编码方式

Protobuf 使用二进制编码格式来序列化数据，以实现高效的数据传输。编码方式包括字段标签、长度编码和字段顺序等，这些编码方式使得数据在消息和二进制之间的转换更加高效。

假设我们有以下的数据结构表示一个人的信息：

syntax = "proto2";

message Person {
  string name = 1;
  int32 age = 2;
  repeated string hobbies = 3;
  Address address = 4;

  message Address {
    string street = 1;
    string city = 2;
    string country = 3;
  }
}

上述数据结构定义了一个 Person 消息，其中包含了姓名（name）、年龄（age）、爱好（hobbies，可重复）和地址（address）等字段。

现在，我们将使用 Protobuf 的编码方式将一个具体的人的信息进行编码。

假设我们要编码的人的信息如下：

Person person = {
  name: "John",
  age: 30,
  hobbies: ["reading", "swimming"],
  address: {
    street: "123 Main St",
    city: "New York",
    country: "USA"
  }
};

下面是这个人信息编码后的二进制数据（十六进制表示）：

0a 09 4a 6f 68 6e 20 44 6f 65 10 1e 1a 07 72 65 61 64 69 6e 67 1a 08 73 77 69 6d 6d 69 6e 67 22 0f 0a 0b 31 32 33 20 4d 61 69 6e 20 53 74 1a 08 4e 65 77 20 59 6f 72 6b

编码后的数据是一个紧凑的二进制格式，它包含了各个字段的标签和值。每个字段都以标签和类型的形式进行编码，然后按照字段在消息定义中的顺序进行排列。

例如，字段 name 的编码为 0a 09 4a 6f 68 6e 20 44 6f 65，其中：

  • 0a 是标签字段的编码（字段号为 1，类型为字符串）。
  • 09 是字符串值的长度编码（9，十进制）。
  • 4a 6f 68 6e 20 44 6f 65 是 UTF-8 编码的字符串值 "John"。

同样地，其他字段也按照类似的方式进行编码。

通过 Protobuf 的编码方式，我们可以将结构化的数据转换为紧凑的二进制格式，提供了更高的数据压缩率和更快的编解码速度，适用于网络传输和存储等场景。

3. 对比

Protobuf 消息在二进制编码中没有使用字段名作为标识。相比之下，JSON 这样的文本格式使用字段名作为键（key）来标识每个字段的值。

在 Protobuf 中，每个字段都被赋予一个唯一的字段标签（Field Tag），用于标识该字段的顺序和类型。字段标签是一个数值，范围从 1 到 2^29 - 1。这些标签是在消息定义中显式指定的。

通过使用字段标签，Protobuf 编码器和解码器可以准确地识别每个字段的类型和位置，而无需使用字段名作为标识。这样做可以减少编码后数据的大小，并提高编解码的效率。

例如，下面是一个使用 Protobuf 消息定义语言（Proto IDL）定义的示例：

syntax = "proto3";

message Person {
  int32 id = 1;
  string name = 2;
  string email = 3;
}

在上述示例中，id 字段的标签是 1，name 字段的标签是 2，email 字段的标签是 3。这些标签指定了字段在二进制编码中的顺序和类型。

当与 JSON 格式进行对比时，Protobuf 在多个方面具有优势，包括数据大小、编解码速度和兼容性。下面是与 JSON 的对比：

数据大小

  • Protobuf：由于使用二进制编码和紧凑的编码规则，Protobuf 生成的数据大小通常比 JSON 更小。Protobuf 使用变长整数编码（Varint）来表示字段的值，这可以大大减少数据的字节长度。相同数据结构的消息在 Protobuf 中的表示通常比 JSON 更紧凑，节省存储空间和网络传输带宽。

    message Person {
  string name = 1;
  int32 age = 2;
}

    对于上述的消息定义，使用 Protobuf 编码一个具体的 Person 对象，只需几个字节：

    0A 05 4A 6F 68 6E 20 32 30

    其中：

  • 0A 表示字段名为 name，类型为字符串的编码起始标记。
  • 05 表示字符串的长度为 5。
  • 4A 6F 68 6E 20 是字符串 "John " 的 UTF-8 编码。
  • 32 表示字段名为 age，类型为整数的编码起始标记。
  • 30 表示整数值 30。

相比之下，使用 JSON 表示相同的数据结构需要更多的字符，占用更多的存储空间：

{
  "name": "John ",
  "age": 30
}

编解码速度

  • Protobuf：由于二进制编码的紧凑性和使用的高效算法，Protobuf 的编解码速度通常比 JSON 更快。Protobuf 的编解码过程直接操作二进制数据，不需要像文本解析器那样进行解析和构建对象，因此更高效。在大规模数据处理和高性能应用中，Protobuf 的编解码速度优势尤为显著。
  • JSON：JSON 的编解码过程涉及解析和构建对象，涉及字符串解析、解码和转换操作，相对比较耗时。特别是在处理大型数据集或频繁的数据交换时，JSON 的编解码速度可能成为性能瓶颈。

兼容性

  • Protobuf：Protobuf 具有很好的兼容性，它支持向后和向前兼容的数据演化。当消息结构发生变化时，可以通过添加、删除或修改字段来更新消息定义，而不会破坏已有的编码数据。这使得在不同版本的应用程序之间进行数据交换更加灵活。通过使用 Protobuf 的 required 和 optional 字段选项，还可以更精细地控制字段的存在性和默认值，以满足不同的兼容性需求。
  • JSON：JSON 的兼容性相对较差，当消息结构发生变化时，通常需要进行手动的数据迁移和转换，字段的添加。

假设我们有一个学生信息的数据结构，包含姓名、年龄和成绩字段。我们将比较在添加新字段时 Protobuf 和 JSON 的兼容性表现。

原始的学生信息数据结构如下：

message Student {
  string name = 1;
  int32 age = 2;
}

现在我们需要向学生信息中添加一个新字段 "score"，表示学生的成绩。

Protobuf 示例

在 Protobuf 中，我们可以直接向消息定义中添加新的字段：

message Student {
  string name = 1;
  int32 age = 2;
  float score = 3;
}

现有的解析器仍然可以解析旧版本的数据，因为解析器会忽略它们不识别的字段。当解析旧版本的学生信息时，新添加的字段 "score" 会被忽略，但其他字段仍然可以正确解析。

JSON 示例

对于 JSON，如果我们想添加一个新字段 "score"，我们需要对现有的数据进行修改。

原始的学生信息 JSON 如下：

{
  "name": "John",
  "age": 20
}

要添加 "score" 字段，我们需要修改现有的 JSON 数据，添加新的键值对：

{
  "name": "John",
  "age": 20,
  "score": 95
}

在这个示例中，我们必须手动更新现有的数据，添加新的字段和值。如果有大量的数据需要更新，这个过程可能会比较繁琐和耗时。

相比之下，Protobuf 允许我们在消息定义中直接添加新的字段，而无需手动修改现有数据。这使得在应用程序升级时更加方便和灵活，尤其在处理大量数据或与其他系统进行数据交换时，Protobuf 的兼容性优势更加明显。

4. 在 Node.js 中使用

  1. 安装 protobufjs 库：

    npm install protobufjs

  2. 创建一个 .proto 文件：使用 Protobuf 的消息定义语言（Proto IDL）创建一个 .proto 文件，用于定义你的消息结构。例如，创建一个名为 person.proto 的文件，并定义 Person 消息：

    syntax = "proto3";

message Person {
  string name = 1;
  int32 age = 2;
}

  3. 在 Node.js 中加载 .proto 文件并使用消息：在你的 Node.js 项目中，使用 protobufjs 库加载 .proto 文件，并使用其中定义的消息类型。例如，创建一个 main.js 文件，并编写以下代码：

    const protobuf = require('protobufjs');

// 加载 .proto 文件
const protoFile = 'path/to/person.proto';
const root = protobuf.loadSync(protoFile);

// 获取消息类型
const Person = root.lookupType('Person');

// 创建一个 Person 消息实例
const person = Person.create({ name: 'John', age: 30 });

// 将消息编码为二进制数据
const buffer = Person.encode(person).finish();

// 解码二进制数据为消息对象
const decodedPerson = Person.decode(buffer);

// 打印解码后的消息内容
console.log(decodedPerson.name);
console.log(decodedPerson.age);

在上述代码中，首先使用 protobufjs 的 loadSync 方法加载指定的 .proto 文件。然后，我们使用 root.lookupType 方法获取消息类型，并通过 create 方法创建了一个 Person 消息实例。接下来，我们使用 encode 方法将消息编码为二进制数据，并使用 decode 方法将二进制数据解码为消息对象。最后，我们打印解码后的消息内容。

标签: protobuf

添加新评论