代码拉取完成，页面将自动刷新
<!DOCTYPE html><html><head><title>serialization</title><meta http-equiv=Content-Type content="text/html; charset=utf-8"><style type=text/css>html,body,div,span,applet,object,iframe,h1,h2,h3,h4,h5,h6,p,blockquote,pre,a,abbr,acronym,address,big,cite,code,del,dfn,em,img,ins,kbd,q,s,samp,small,strike,strong,sub,sup,tt,var,b,u,i,center,dl,dt,dd,ol,ul,li,fieldset,form,label,legend,table,caption,tbody,tfoot,thead,tr,th,td,article,aside,canvas,details,embed,figure,figcaption,footer,header,hgroup,menu,nav,output,ruby,section,summary,time,mark,audio,video{margin:0;padding:0;border:0}body{font-family:Helvetica,arial,freesans,clean,sans-serif;font-size:14px;line-height:1.6;color:#333;background-color:#fff;padding:20px;max-width:960px;margin:0 auto}body>:first-child{margin-top:0!important}body>:last-child{margin-bottom:0!important}p,blockquote,ul,ol,dl,table,pre{margin:15px 0}h1,h2,h3,h4,h5,h6{margin:20px 0 10px;padding:0;font-weight:700;-webkit-font-smoothing:antialiased}h1 tt,h1 code,h2 tt,h2 code,h3 tt,h3 code,h4 tt,h4 code,h5 tt,h5 code,h6 tt,h6 code{font-size:inherit}h1{font-size:28px;color:#000}h2{font-size:24px;border-bottom:1px solid #ccc;color:#000}h3{font-size:18px}h4{font-size:16px}h5{font-size:14px}h6{color:#777;font-size:14px}body>h2:first-child,body>h1:first-child,body>h1:first-child+h2,body>h3:first-child,body>h4:first-child,body>h5:first-child,body>h6:first-child{margin-top:0;padding-top:0}a:first-child h1,a:first-child h2,a:first-child h3,a:first-child h4,a:first-child h5,a:first-child h6{margin-top:0;padding-top:0}h1+p,h2+p,h3+p,h4+p,h5+p,h6+p{margin-top:10px}a{color:#4183C4;text-decoration:none}a:hover{text-decoration:underline}ul,ol{padding-left:30px}ul li>:first-child,ol li>:first-child,ul li ul:first-of-type,ol li ol:first-of-type,ul li ol:first-of-type,ol li ul:first-of-type{margin-top:0}ul ul,ul ol,ol ol,ol ul{margin-bottom:0}dl{padding:0}dl dt{font-size:14px;font-weight:700;font-style:italic;padding:0;margin:15px 0 5px}dl dt:first-child{padding:0}dl dt>:first-child{margin-top:0}dl dt>:last-child{margin-bottom:0}dl dd{margin:0 0 15px;padding:0 15px}dl dd>:first-child{margin-top:0}dl dd>:last-child{margin-bottom:0}pre,code,tt{font-size:12px;font-family:Consolas,"Liberation Mono",Courier,monospace}code,tt{margin:0 0;padding:0 0;white-space:nowrap;border:1px solid #eaeaea;background-color:#f8f8f8;border-radius:3px}pre>code{margin:0;padding:0;white-space:pre;border:none;background:0 0}pre{background-color:#f8f8f8;border:1px solid #ccc;font-size:13px;line-height:19px;overflow:auto;padding:6px 10px;border-radius:3px}pre code,pre tt{background-color:transparent;border:none}kbd{-moz-border-bottom-colors:none;-moz-border-left-colors:none;-moz-border-right-colors:none;-moz-border-top-colors:none;background-color:#DDD;background-image:linear-gradient(#F1F1F1,#DDD);background-repeat:repeat-x;border-color:#DDD #CCC #CCC #DDD;border-image:none;border-radius:2px 2px 2px 2px;border-style:solid;border-width:1px;font-family:"Helvetica Neue",Helvetica,Arial,sans-serif;line-height:10px;padding:1px 4px}blockquote{border-left:4px solid #DDD;padding:0 15px;color:#777}blockquote>:first-child{margin-top:0}blockquote>:last-child{margin-bottom:0}hr{clear:both;margin:15px 0;height:0;overflow:hidden;border:none;background:0 0;border-bottom:4px solid #ddd;padding:0}table th{font-weight:700}table th,table td{border:1px solid #ccc;padding:6px 13px}table tr{border-top:1px solid #ccc;background-color:#fff}table tr:nth-child(2n){background-color:#f8f8f8}img{max-width:100%}</style><style type=text/css>.highlight{background:#fff}.highlight .c{color:#998;font-style:italic}.highlight .err{color:#a61717;background-color:#e3d2d2}.highlight .k{font-weight:700}.highlight .o{font-weight:700}.highlight .cm{color:#998;font-style:italic}.highlight .cp{color:#999;font-weight:700}.highlight .c1{color:#998;font-style:italic}.highlight .cs{color:#999;font-weight:700;font-style:italic}.highlight .gd{color:#000;background-color:#fdd}.highlight .gd .x{color:#000;background-color:#faa}.highlight .ge{font-style:italic}.highlight .gr{color:#a00}.highlight .gh{color:#999}.highlight .gi{color:#000;background-color:#dfd}.highlight .gi .x{color:#000;background-color:#afa}.highlight .go{color:#888}.highlight .gp{color:#555}.highlight .gs{font-weight:700}.highlight .gu{color:#aaa}.highlight .gt{color:#a00}.highlight .kc{font-weight:700}.highlight .kd{font-weight:700}.highlight .kp{font-weight:700}.highlight .kr{font-weight:700}.highlight .kt{color:#458;font-weight:700}.highlight .m{color:#099}.highlight .s{color:#d14}.highlight .na{color:teal}.highlight .nb{color:#0086B3}.highlight .nc{color:#458;font-weight:700}.highlight .no{color:teal}.highlight .ni{color:purple}.highlight .ne{color:#900;font-weight:700}.highlight .nf{color:#900;font-weight:700}.highlight .nn{color:#555}.highlight .nt{color:navy}.highlight .nv{color:teal}.highlight .ow{font-weight:700}.highlight .w{color:#bbb}.highlight .mf{color:#099}.highlight .mh{color:#099}.highlight .mi{color:#099}.highlight .mo{color:#099}.highlight .sb{color:#d14}.highlight .sc{color:#d14}.highlight .sd{color:#d14}.highlight .s2{color:#d14}.highlight .se{color:#d14}.highlight .sh{color:#d14}.highlight .si{color:#d14}.highlight .sx{color:#d14}.highlight .sr{color:#009926}.highlight .s1{color:#d14}.highlight .ss{color:#990073}.highlight .bp{color:#999}.highlight .vc{color:teal}.highlight .vg{color:teal}.highlight .vi{color:teal}.highlight .il{color:#099}.task-list{padding-left:10px;margin-bottom:0}.task-list li{margin-left:20px}.task-list-item{list-style-type:none;padding-left:10px}.task-list-item label{font-weight:400}.task-list-item.enabled label{cursor:pointer}.task-list-item+.task-list-item{margin-top:3px}.task-list-item-checkbox{display:inline-block;margin-left:-20px;margin-right:3px;vertical-align:1px}</style><body><h1>在Dubbo中使用高效的Java序列化（Kryo和FST）</h1><p><strong>作者：沈理</strong></p><p><strong>文档版权：<a href=https://creativecommons.org/licenses/by-nd/3.0/deed.zh>Creative Commons 3.0许可证 署名-禁止演绎</a></strong></p><p>完善中……</p><p>TODO 生成可点击的目录</p><h2>目录</h2><ul class=task-list><li>序列化漫谈</li><li>启用Kryo和FST</li><li>注册被序列化类</li><li>无参构造函数和Serializable接口</li><li>序列化性能分析与测试<ul class=task-list><li>测试环境</li><li>测试脚本</li><li>Dubbo RPC中不同序列化生成字节大小比较</li><li>Dubbo RPC中不同序列化响应时间和吞吐量对比</li></ul></li><li>未来</li></ul><h2>序列化漫谈</h2><p>dubbo RPC是dubbo体系中最核心的一种高性能、高吞吐量的远程调用方式，我喜欢称之为多路复用的TCP长连接调用，简单的说：</p><ul class=task-list><li>长连接：避免了每次调用新建TCP连接，提高了调用的响应速度</li><li>多路复用：单个TCP连接可交替传输多个请求和响应的消息，降低了连接的等待闲置时间，从而减少了同样并发数下的网络连接数，提高了系统吞吐量。</li></ul><p>dubbo RPC主要用于两个dubbo系统之间作远程调用，特别适合高并发、小数据的互联网场景。</p><p>而序列化对于远程调用的响应速度、吞吐量、网络带宽消耗等同样也起着至关重要的作用，是我们提升分布式系统性能的最关键因素之一。</p><p>在dubbo RPC中，同时支持多种序列化方式，例如：</p><ol class=task-list><li>dubbo序列化：阿里尚未开发成熟的高效java序列化实现，阿里不建议在生产环境使用它</li><li>hessian2序列化：hessian是一种跨语言的高效二进制序列化方式。但这里实际不是原生的hessian2序列化，而是阿里修改过的hessian lite，它是dubbo RPC默认启用的序列化方式</li><li>json序列化：目前有两种实现，一种是采用的阿里的fastjson库，另一种是采用dubbo中自己实现的简单json库，但其实现都不是特别成熟，而且json这种文本序列化性能一般不如上面两种二进制序列化。</li><li>java序列化：主要是采用JDK自带的Java序列化实现，性能很不理想。</li></ol><p>在通常情况下，这四种主要序列化方式的性能从上到下依次递减。对于dubbo RPC这种追求高性能的远程调用方式来说，实际上只有1、2两种高效序列化方式比较般配，而第1个dubbo序列化由于还不成熟，所以实际只剩下2可用，所以dubbo RPC默认采用hessian2序列化。</p><p>但hessian是一个比较老的序列化实现了，而且它是跨语言的，所以不是单独针对java进行优化的。而dubbo RPC实际上完全是一种Java to Java的远程调用，其实没有必要采用跨语言的序列化方式（当然肯定也不排斥跨语言的序列化）。</p><p>最近几年，各种新的高效序列化方式层出不穷，不断刷新序列化性能的上限，最典型的包括：</p><ul class=task-list><li>专门针对Java语言的：Kryo，FST等等</li><li>跨语言的：Protostuff，ProtoBuf，Thrift，Avro，MsgPack等等</li></ul><p>这些序列化方式的性能多数都显著优于hessian2（甚至包括尚未成熟的dubbo序列化）。</p><p>有鉴于此，我们为dubbo引入Kryo和FST这两种高效Java序列化实现，来逐步取代hessian2。</p><p>其中，Kryo是一种非常成熟的序列化实现，已经在Twitter、Groupon、Yahoo以及多个著名开源项目（如Hive、Storm）中广泛的使用。而FST是一种较新的序列化实现，目前还缺乏足够多的成熟使用案例，但我认为它还是非常有前途的。</p><p>在面向生产环境的应用中，我建议目前更优先选择Kryo。</p><h2>启用Kryo和FST</h2><p>使用Kryo和FST非常简单，只需要在dubbo RPC的XML配置中添加一个属性即可：</p><div class="highlight highlight-xml"><pre><<span class=pl-ent>dubbo</span><span class=pl-ent>:</span><span class=pl-ent>protocol</span> <span class=pl-e>name</span>=<span class=pl-s1><span class=pl-pds>"</span>dubbo<span class=pl-pds>"</span></span> <span class=pl-e>serialization</span>=<span class=pl-s1><span class=pl-pds>"</span>kryo<span class=pl-pds>"</span></span>/></pre></div><div class="highlight highlight-xml"><pre><<span class=pl-ent>dubbo</span><span class=pl-ent>:</span><span class=pl-ent>protocol</span> <span class=pl-e>name</span>=<span class=pl-s1><span class=pl-pds>"</span>dubbo<span class=pl-pds>"</span></span> <span class=pl-e>serialization</span>=<span class=pl-s1><span class=pl-pds>"</span>fst<span class=pl-pds>"</span></span>/></pre></div><h2>注册被序列化类</h2><p>要让Kryo和FST完全发挥出高性能，最好将那些需要被序列化的类注册到dubbo系统中，例如，我们可以实现如下回调接口：</p><div class="highlight highlight-java"><pre><span class=pl-s>public</span> <span class=pl-s>class</span> <span class=pl-en>SerializationOptimizerImpl</span> <span class=pl-s>implements</span> <span class=pl-e>SerializationOptimizer</span> {
<span class=pl-s>public</span> <span class=pl-st>Collection<<span class=pl-stj>Class</span>></span> <span class=pl-en>getSerializableClasses</span>() {
<span class=pl-st>List<<span class=pl-stj>Class</span>></span> classes <span class=pl-k>=</span> <span class=pl-k>new</span> <span class=pl-st>LinkedList<<span class=pl-stj>Class</span>></span>();
classes<span class=pl-k>.</span>add(<span class=pl-stj>BidRequest</span><span class=pl-k>.</span>class);
classes<span class=pl-k>.</span>add(<span class=pl-stj>BidResponse</span><span class=pl-k>.</span>class);
classes<span class=pl-k>.</span>add(<span class=pl-stj>Device</span><span class=pl-k>.</span>class);
classes<span class=pl-k>.</span>add(<span class=pl-stj>Geo</span><span class=pl-k>.</span>class);
classes<span class=pl-k>.</span>add(<span class=pl-stj>Impression</span><span class=pl-k>.</span>class);
classes<span class=pl-k>.</span>add(<span class=pl-stj>SeatBid</span><span class=pl-k>.</span>class);
<span class=pl-k>return</span> classes;
}
}</pre></div><p>然后在XML配置中添加：</p><div class="highlight highlight-xml"><pre><<span class=pl-ent>dubbo</span><span class=pl-ent>:</span><span class=pl-ent>protocol</span> <span class=pl-e>name</span>=<span class=pl-s1><span class=pl-pds>"</span>dubbo<span class=pl-pds>"</span></span> <span class=pl-e>serialization</span>=<span class=pl-s1><span class=pl-pds>"</span>kryo<span class=pl-pds>"</span></span> <span class=pl-e>optimizer</span>=<span class=pl-s1><span class=pl-pds>"</span>com.alibaba.dubbo.demo.SerializationOptimizerImpl<span class=pl-pds>"</span></span>/></pre></div><p>在注册这些类后，序列化的性能可能被大大提升，特别针对小数量的嵌套对象的时候。</p><p>当然，在对一个类做序列化的时候，可能还级联引用到很多类，比如Java集合类。针对这种情况，我们已经自动将JDK中的常用类进行了注册，所以你不需要重复注册它们（当然你重复注册了也没有任何影响），包括：</p><pre><code>GregorianCalendar
InvocationHandler
BigDecimal
BigInteger
Pattern
BitSet
URI
UUID
HashMap
ArrayList
LinkedList
HashSet
TreeSet
Hashtable
Date
Calendar
ConcurrentHashMap
SimpleDateFormat
Vector
BitSet
StringBuffer
StringBuilder
Object
Object[]
String[]
byte[]
char[]
int[]
float[]
double[]
</code></pre><p>由于注册被序列化的类仅仅是出于性能优化的目的，所以即使你忘记注册某些类也没有关系。事实上，即使不注册任何类，Kryo和FST的性能依然普遍优于hessian和dubbo序列化。</p><blockquote><p>当然，有人可能会问为什么不用配置文件来注册这些类？这是因为要注册的类往往数量较多，导致配置文件冗长；而且在没有好的IDE支持的情况下，配置文件的编写和重构都比java类麻烦得多；最后，这些注册的类一般是不需要在项目编译打包后还需要做动态修改的。</p><p>另外，有人也会觉得手工注册被序列化的类是一种相对繁琐的工作，是不是可以用annotation来标注，然后系统来自动发现并注册。但这里annotation的局限是，它只能用来标注你可以修改的类，而很多序列化中引用的类很可能是你没法做修改的（比如第三方库或者JDK系统类或者其他项目的类）。另外，添加annotation毕竟稍微的“污染”了一下代码，使应用代码对框架增加了一点点的依赖性。</p><p>除了annotation，我们还可以考虑用其它方式来自动注册被序列化的类，例如扫描类路径，自动发现实现Serializable接口（甚至包括Externalizable）的类并将它们注册。当然，我们知道类路径上能找到Serializable类可能是非常多的，所以也可以考虑用package前缀之类来一定程度限定扫描范围。</p><p>当然，在自动注册机制中，特别需要考虑如何保证服务提供端和消费端都以同样的顺序（或者ID）来注册类，避免错位，毕竟两端可被发现然后注册的类的数量可能都是不一样的。</p></blockquote><h2>无参构造函数和Serializable接口</h2><p>如果被序列化的类中不包含无参的构造函数，则在Kryo的序列化中，性能将会大打折扣，因为此时我们在底层将用Java的序列化来透明的取代Kryo序列化。所以，尽可能为每一个被序列化的类添加无参构造函数是一种最佳实践（当然一个java类如果不自定义构造函数，默认就有无参构造函数）。</p><p>另外，Kryo和FST本来都不需要被序列化都类实现Serializable接口，但我们还是建议每个被序列化类都去实现它，因为这样可以保持和Java序列化以及dubbo序列化的兼容性，另外也使我们未来采用上述某些自动注册机制带来可能。</p><h2>序列化性能分析与测试</h2><p>本文我们主要讨论的是序列化，但在做性能分析和测试的时候我们并不单独处理每种序列化方式，而是把它们放到dubbo RPC中加以对比，因为这样更有现实意义。</p><h3>测试环境</h3><p>粗略如下：</p><ul class=task-list><li>两台独立服务器</li><li>4核Intel(R) Xeon(R) CPU E5-2603 0 @ 1.80GHz</li><li>8G内存</li><li>虚拟机之间网络通过百兆交换机</li><li>CentOS 5</li><li>JDK 7</li><li>Tomcat 7</li><li>JVM参数-server -Xms1g -Xmx1g -XX:PermSize=64M -XX:+UseConcMarkSweepGC</li></ul><p>当然这个测试环境较有局限，故当前测试结果未必有非常权威的代表性。</p><h3>测试脚本</h3><p>和dubbo自身的基准测试保持接近：</p><p>10个并发客户端持续不断发出请求：</p><ul class=task-list><li>传入嵌套复杂对象（但单个数据量很小），不做任何处理，原样返回</li><li>传入50K字符串，不做任何处理，原样返回（TODO：结果尚未列出）</li></ul><p>进行5分钟性能测试。（引用dubbo自身测试的考虑：“主要考察序列化和网络IO的性能，因此服务端无任何业务逻辑。取10并发是考虑到http协议在高并发下对CPU的使用率较高可能会先打到瓶颈。”）</p><h3>Dubbo RPC中不同序列化生成字节大小比较</h3><p>序列化生成字节码的大小是一个比较有确定性的指标，它决定了远程调用的网络传输时间和带宽占用。</p><p>针对复杂对象的结果如下（数值越小越好）：</p><table><thead><tr><th>序列化实现<th>请求字节数<th>响应字节数<tbody><tr><td>Kryo<td>272<td>90<tr><td>FST<td>288<td>96<tr><td>Dubbo Serialization<td>430<td>186<tr><td>Hessian<td>546<td>329<tr><td>FastJson<td>461<td>218<tr><td>Json<td>657<td>409<tr><td>Java Serialization<td>963<td>630</table><p><a href=images/bytes.png target=_blank><img src=images/bytes.png alt="no image found" style=max-width:100%></a></p><h3>Dubbo RPC中不同序列化响应时间和吞吐量对比</h3><table><thead><tr><th>远程调用方式<th>平均响应时间<th>平均TPS（每秒事务数）<tbody><tr><td>REST: Jetty + JSON<td>7.806<td>1280<tr><td>REST: Jetty + JSON + GZIP<td>TODO<td>TODO<tr><td>REST: Jetty + XML<td>TODO<td>TODO<tr><td>REST: Jetty + XML + GZIP<td>TODO<td>TODO<tr><td>REST: Tomcat + JSON<td>2.082<td>4796<tr><td>REST: Netty + JSON<td>2.182<td>4576<tr><td>Dubbo: FST<td>1.211<td>8244<tr><td>Dubbo: kyro<td>1.182<td>8444<tr><td>Dubbo: dubbo serialization<td>1.43<td>6982<tr><td>Dubbo: hessian2<td>1.49<td>6701<tr><td>Dubbo: fastjson<td>1.572<td>6352</table><p><a href=images/rt.png target=_blank><img src=images/rt.png alt="no image found" style=max-width:100%></a></p><p><a href=images/tps.png target=_blank><img src=images/tps.png alt="no image found" style=max-width:100%></a></p><h3>测试总结</h3><p>就目前结果而言，我们可以看到不管从生成字节的大小，还是平均响应时间和平均TPS，Kryo和FST相比Dubbo RPC中原有的序列化方式都有非常显著的改进。</p><h2>未来</h2><p>未来，当Kryo或者FST在dubbo中当应用足够成熟之后，我们很可能会将dubbo RPC的默认序列化从hessian2改为它们中间的某一个。</p>
此处可能存在不合适展示的内容，页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容，可点击提交进行申诉，我们将尽快为您处理。