|
|
|
|
|
# 12 | 序列化与反序列化：如何通过网络传输结构化的数据？
|
|
|
|
|
|
|
|
|
|
|
|
你好，我是李玥。
|
|
|
|
|
|
|
|
|
|
|
|
最近有一些同学留言说，感觉这几节课讲的内容和消息关系不大。这里我解释一下，因为我们课程其中的一个目的，是让同学们不仅会使用消息队列，还可以通过对消息队列的学习，在代码能力上有一个提升，具备“造轮子”的能力。这样，你对消息队列的理解才能足够的深入，而不只是浮于表面。如果你细心可能也会发现，很多大厂在面试时，提到消息队列的问题，也不会仅仅局限在消息队列的使用上，他更多的会考察“你为什么这么实现”。
|
|
|
|
|
|
|
|
|
|
|
|
所以在进阶篇的上半部分，我会把开发一个消息队列需要用到的一些底层的关键技术给大家讲解清楚，然后我们再来一起分析消息队列的源代码。
|
|
|
|
|
|
|
|
|
|
|
|
在上节课中，我们解决了如何实现高性能的网络传输的问题。那是不是程序之间就可以通信了呢？这里面还有一些问题需要解决。
|
|
|
|
|
|
|
|
|
|
|
|
我们知道，在TCP的连接上，它传输数据的基本形式就是二进制流，也就是一段一段的1和0。在一般编程语言或者网络框架提供的API中，传输数据的基本形式是字节，也就是Byte。一个字节就是8个二进制位，8个Bit，所以在这里，二进制流和字节流本质上是一样的。
|
|
|
|
|
|
|
|
|
|
|
|
那对于我们编写的程序来说，它需要通过网络传输的数据是什么形式的呢？是结构化的数据，比如，一条命令、一段文本或者是一条消息。对应到我们写的代码中，这些结构化的数据是什么？这些都可以用一个类（Class）或者一个结构体（Struct）来表示。
|
|
|
|
|
|
|
|
|
|
|
|
那显然，**要想使用网络框架的API来传输结构化的数据，必须得先实现结构化的数据与字节流之间的双向转换。**这种将结构化数据转换成字节流的过程，我们称为序列化，反过来转换，就是反序列化。
|
|
|
|
|
|
|
|
|
|
|
|
序列化的用途除了用于在网络上传输数据以外，另外的一个重要用途是，将结构化数据保存在文件中，因为在文件内保存数据的形式也是二进制序列，和网络传输过程中的数据是一样的，所以序列化同样适用于将结构化数据保存在文件中。
|
|
|
|
|
|
|
|
|
|
|
|
很多处理海量数据的场景中，都需要将对象序列化后，把它们暂时从内存转移到磁盘中，等需要用的时候，再把数据从磁盘中读取出来，反序列化成对象来使用，这样不仅可以长期保存不丢失数据，而且可以节省有限的内存空间。
|
|
|
|
|
|
|
|
|
|
|
|
这节课，我们就来聊聊，怎么来实现高性能的序列化和反序列化。
|
|
|
|
|
|
|
|
|
|
|
|
## 你该选择哪种序列化实现？
|
|
|
|
|
|
|
|
|
|
|
|
如果说，只是实现序列化和反序列的功能，并不难，方法也有很多，比如我们最常使用的，把一个对象转换成字符串并打印出来，这其实就是一种序列化的实现，这个字符串只要转成字节序列，就可以在网络上传输或者保存在文件中了。
|
|
|
|
|
|
|
|
|
|
|
|
但是，你千万不要在你的程序中这么用，这种实现的方式仅仅只是能用而已，绝不是一个好的选择。
|
|
|
|
|
|
|
|
|
|
|
|
有很多通用的序列化实现，我们可以直接拿来使用。Java和Go语言都内置了序列化实现，也有一些流行的开源序列化实现，比如，Google 的Protobuf、Kryo、Hessian等；此外，像JSON、XML这些标准的数据格式，也可以作为一种序列化实现来使用。
|
|
|
|
|
|
|
|
|
|
|
|
当然，我们也可以自己来实现私有的序列化实现。
|
|
|
|
|
|
|
|
|
|
|
|
面对这么多种序列化实现，我们该如何选择呢？你需要权衡这样几个因素：
|
|
|
|
|
|
|
|
|
|
|
|
1. 序列化后的数据最好是易于人类阅读的；
|
|
|
|
|
|
2. 实现的复杂度是否足够低；
|
|
|
|
|
|
3. 序列化和反序列化的速度越快越好；
|
|
|
|
|
|
4. 序列化后的信息密度越大越好，也就是说，同样的一个结构化数据，序列化之后占用的存储空间越小越好；
|
|
|
|
|
|
|
|
|
|
|
|
当然，**不会存在一种序列化实现在这四个方面都是最优的**，否则我们就没必要来纠结到底选择哪种实现了。因为，大多数情况下，易于阅读和信息密度是矛盾的，实现的复杂度和性能也是互相矛盾的。所以，我们需要根据所实现的业务，来选择合适的序列化实现。
|
|
|
|
|
|
|
|
|
|
|
|
像JSON、XML这些序列化方法，可读性最好，但信息密度也最低。像Kryo、Hessian这些通用的二进制序列化实现，适用范围广，使用简单，性能比JSON、XML要好一些，但是肯定不如专用的序列化实现。
|
|
|
|
|
|
|
|
|
|
|
|
对于一些强业务类系统，比如说电商类、社交类的应用系统，这些系统的特点是，业务复杂，需求变化快，但是对性能的要求没有那么苛刻。这种情况下，我推荐你使用JSON这种实现简单，数据可读性好的序列化实现，这种实现使用起来非常简单，序列化后的JSON数据我们都可以看得懂，无论是接口调试还是排查问题都非常方便。付出的代价就是多一点点CPU时间和存储空间而已。
|
|
|
|
|
|
|
|
|
|
|
|
比如我们要序列化一个User对象，它包含3个属性，姓名zhangsan，年龄：23，婚姻状况：已婚。
|
|
|
|
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
User:
|
|
|
|
|
|
name: "zhangsan"
|
|
|
|
|
|
age: 23
|
|
|
|
|
|
married: true
|
|
|
|
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
使用JSON序列化后：
|
|
|
|
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
{"name":"zhangsan","age":"23","married":"true"}
|
|
|
|
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
这里面的数据我们不需要借助工具，是直接可以看懂的。
|
|
|
|
|
|
|
|
|
|
|
|
序列化的代码也比较简单，直接调用JSON序列化框架提供的方法就可以了：
|
|
|
|
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
byte [] serializedUser = JsonConvert.SerializeObject(user).getBytes("UTF-8");
|
|
|
|
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
如果JSON序列化的性能达不到你系统的要求，可以采用性能更好的二进制序列化实现，实现的复杂度和JSON序列化是差不多的，都很简单，但是序列化性能更好，信息密度也更高，代价就是失去了可读性。
|
|
|
|
|
|
|
|
|
|
|
|
比如我们用Kryo来序列化User对象，它的代码如下：
|
|
|
|
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
kryo.register(User.class);
|
|
|
|
|
|
Output output = new Output(new FileOutputStream("file.bin"));
|
|
|
|
|
|
kryo.writeObject(output, user);
|
|
|
|
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
在这段代码里，先要向Kryo注册一下User类，然后创建一个流，最后调用writeObject方法，将user对象序列化后直接写到流中。这个过程也是非常简单的。
|
|
|
|
|
|
|
|
|
|
|
|
## 实现高性能的序列化和反序列化
|
|
|
|
|
|
|
|
|
|
|
|
绝大部分系统，使用上面这两类通用的序列化实现都可以满足需求，而像消息队列这种用于解决通信问题的中间件，它对性能要求非常高，通用的序列化实现达不到性能要求，所以，很多的消息队列都选择自己实现高性能的专用序列化和反序列化。
|
|
|
|
|
|
|
|
|
|
|
|
使用专用的序列化方法，可以提高序列化性能，并有效减小序列化后的字节长度。
|
|
|
|
|
|
|
|
|
|
|
|
在专用的序列化方法中，不必考虑通用性。比如，我们可以固定字段的顺序，这样在序列化后的字节里面就不必包含字段名，只要字段值就可以了，不同类型的数据也可以做针对性的优化：
|
|
|
|
|
|
|
|
|
|
|
|
对于同样的User对象，我们可以把它序列化成这样：
|
|
|
|
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
03 | 08 7a 68 61 6e 67 73 61 6e | 17 | 01
|
|
|
|
|
|
User | z h a n g s a n | 23 | true
|
|
|
|
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
我解释一下，这个序列化方法是怎么表示User对象的。
|
|
|
|
|
|
|
|
|
|
|
|
首先我们需要标识一下这个对象的类型，这里面我们用一个字节来表示类型，比如用03表示这是一个User类型的对象。
|
|
|
|
|
|
|
|
|
|
|
|
我们约定，按照name、age、married这个固定顺序来序列化这三个属性。按照顺序，第一个字段是name，我们不存字段名，直接存字段值“zhangsan”就可以了，由于名字的长度不固定，我们用第一个字节08表示这个名字的长度是8个字节，后面的8个字节就是zhangsan。
|
|
|
|
|
|
|
|
|
|
|
|
第二个字段是年龄，我们直接用一个字节表示就可以了，23的16进制是17 。
|
|
|
|
|
|
|
|
|
|
|
|
最后一个字段是婚姻状态，我们用一个字节来表示，01表示已婚，00表示未婚，这里面保存一个01。
|
|
|
|
|
|
|
|
|
|
|
|
可以看到，同样的一个User对象，JSON序列化后需要47个字节，这里只要12个字节就够了。
|
|
|
|
|
|
|
|
|
|
|
|
专用的序列化方法显然更高效，序列化出来的字节更少，在网络传输过程中的速度也更快。但缺点是，需要为每种对象类型定义专门的序列化和反序列化方法，实现起来太复杂了，大部分情况下是不划算的。
|
|
|
|
|
|
|
|
|
|
|
|
## 小结
|
|
|
|
|
|
|
|
|
|
|
|
进程之间要通过网络传输结构化的数据，需要通过序列化和反序列化来实现结构化数据和二进制数据的双向转换。在选择序列化实现的时候，需要综合考虑数据可读性，实现复杂度，性能和信息密度这四个因素。
|
|
|
|
|
|
|
|
|
|
|
|
大多数情况下，选择一个高性能的通用序列化框架都可以满足要求，在性能可以满足需求的前提下，推荐优先选择JSON这种可读性好的序列化方法。
|
|
|
|
|
|
|
|
|
|
|
|
如果说我们需要超高的性能，或者是带宽有限的情况下，可以使用专用的序列化方法，来提升序列化性能，节省传输流量。不过实现起来很复杂，大部分情况下并不划算。
|
|
|
|
|
|
|
|
|
|
|
|
## 思考题
|
|
|
|
|
|
|
|
|
|
|
|
课后，你可以想一下这个问题：在内存里存放的任何数据，它最基础的存储单元也是二进制比特，也就是说，我们应用程序操作的对象，它在内存中也是使用二进制存储的，既然都是二进制，为什么不能直接把内存中，对象对应的二进制数据直接通过网络发送出去，或者保存在文件中呢？为什么还需要序列化和反序列化呢？欢迎在留言区与我分享讨论。
|
|
|
|
|
|
|
|
|
|
|
|
感谢阅读，如果你觉得这篇文章对你有帮助的话，也欢迎把它分享给你的朋友。
|
|
|
|
|
|
|
