京东基础架构建设之路

很幸运地在2013年5月加入京东，更加幸运地遇到了一批优秀的同事，在接下来的4年半的时间里，兄弟们并肩作战，自主研发并持续建设了一系列核心基础架构系统。我们将这几年的工作成果及经验整理总结，写在书中分享出来，希望能给大家带来收获！

第1章“容器集群技术”，主要介绍数据中心操作系统JDOS，即容器集群管理平台。经历过物理机管理分配的各种痛苦后，我们在2014年8月启动了JDOS项目，做了一个简单、勇敢、并不艰难的决定：跨过VM时代，直接基于Docker做容器！而当时大部分公司是通过虚拟化技术提供私有云服务的。不走寻常路，使得我们团队在容器集群技术领域走在前面。从最初很小的规模，到管理几乎所有服务器；从仅调度应用容器，到统一集成中间件、存储和数据库服务；从很像VM的“胖容器”，到应用集群编排；从非常像IaaS，到更接近PaaS……总之，这4年的容器化集群管理技术实践，让我们亲眼见证、亲手推动了一系列变革。JDOS团队这4年只做这一件事情，一件事持续做，就做得很不平凡。JDOS团队当前着力推进“阿基米德项目”，即融合计算资源管理、统一在线与离线混部，预期在2018年全面上线并创造巨大的收益。

第2章“数据库技术”，主要介绍了弹性数据库系统的演进。历经SQL Server、Oracle、物理机部署MySQL，从2015年起我们逐步以“MySQL in Docker”作为数据库服务的主流方式。京东很可能是第一家普遍采用容器化MySQL交付的国内互联网公司。2016年秋，我们在此基础上立项实施弹性数据库项目（简称JED），目标是实现关系型数据库的弹性扩展能力。JED可以称为一套fully cloud-native NewSQL：运行于JDOS 2.0之上，完全容器化部署；具备scale up/down （通过容器技术本身）+ scale out/in（通过过滤复制协议）两种弹性伸缩能力，并且支持服务器与数据中心两个级别的扩展性；基于MySQL作为其存储与复制引擎，且兼容MySQL协议便于应用接入。JED站在JDOS肩膀上，吸收了京东文件系统JFS、缓存平台JIMDB等分布式存储系统的设计经验。从今年（2017年）618之后，JED就成为京东所有应用默认的数据库服务。

第3章“分布式存储技术”，主要介绍京东文件系统JFS及商品图片系统。JFS为解决海量小文件的分布式存储问题而生，亦为之量身定制。2013年我初到京东，当时订单文本、物流报文等BLOB主要存储在数据库中，导致扩展性受限只能定期删除；商品图片服务由一套开源系统搭建，稳定性与性能都不甚理想。于是披星戴月地开发了第一个系统——JFS，服务端用Go语言，客户端用Java语言，并在当年10月上线，陆续承载了OFC订单履约、WMS库房报文等业务的海量数据。2014年年初，基于JFS的新图片系统成功上线——按照历史图片迁移、数据校验、流量切换三步走，历时一个半月，顺利完成切换。我至今记得切换完成的那天晚上，跟几位兄弟击掌相庆的情景，胜利的喜悦总是让人记忆犹新。之后，JFS增加了大文件存储、元数据管理及S3兼容等功能；图片系统则在质量优化、透明压缩等方面不断提高。四年间，商品图片数目从数亿一路增长至数百亿，而JFS与图片系统一直稳定如初。

第4章“中间件技术”，主要介绍以服务框架JSF、消息队列JMQ、缓存平台JIMDB为代表的中间件技术体系。对国内任何一家电商公司来说，中间件系统都是一块核心的技术基石。质量则是中间件技术的生命线。我们在2014年年初自主研发服务框架JSF、消息队列JMQ、缓存平台JIMDB。每个系统差不多都是开发测试一年，推广完善一年。自2016年开始，整个中间件体系步入稳定期，使得业务开发团队能够完全专注于产品功能实现。中间件系统的自主可控能力，加上全托管式服务，大幅提升了产品研发效率。JSF几乎部署在京东的每个IP上，被每个Java应用程序所import；JMQ是订单、支付、履约、物流的数据管道，也是每次大促前军演性能比赛的第一名；JIMDB则从无到有，逐步发展到今天多个IDC数千台大内存服务器的部署规模，并存储京东商城几乎所有的动态内容——JIMDB是世界级的memory-asthe-new-disk NoSQL服务。

第5章“整体架构升级”主要介绍了“ForceBot ：全链路军演机器人”和“异地多活”两部分内容。

◎ ForceBot ：全链路军演机器人。每年618、双11两次大促的技术备战，是京东研发团队的重要工作，而其中一个关键环节就是做充分的、全面的压力测试来有效地发现性能瓶颈并指导资源规划。各个服务的独立压测既不能模拟真实线上的流量状况，也不能全链条覆盖各个环节；往年常用的订单后军演仅覆盖到订单后系统，而大促流量压力主要在订单前。基于数次大促备战经验，我们在2016年着手建设ForceBot，即全链路在线军演压测系统，并推动各个应用系统与基础系统改造来支持“forcebot=1”在线压测流量标识。ForceBot通过部署在各地CDN节点的机器人程序来模拟海量用户的实际行为，包括登录、浏览、搜索、点击、加购物车、下单提交、支付等购物全流程，向京东公网入口发起对应千万用户同时在线的巨大访问流量。2016年双11，ForceBot小试牛刀，初见效果；2017年618即全面实施，成为大促前备战工作的重要组成部分，也是资源规划与性能优化的主要手段。ForceBot使得如今的大促备战智能化、常态化。

◎ 广域分布架构，俗称“异地多活”。不同公司、不同技术团队，对所谓“异地多活”可能有不同理解。“异地多活”这个形象的词汇，描述的是工程结果的表象，并非动机或者目标。从我们的思考角度，做异地多活，主要出发点是什么？公司持续增长的各项业务使得我们需要不断去寻找更大的机房，但这在同一地区并不现实。核心目标是什么？实现数据中心粒度的容量扩展，即通过增加IDC提供资源弹性。相比之前的增加服务器来扩展某个系统，这是分布式架构的更高级形式：多地域多IDC分布式架构；从数据中心角度，实际上是多个不同地域、不同规格的数据中心，形成一个逻辑上更大的数据中心。至于更强的容灾能力和用户就近接入，则是异地多活的附加收益。在切身经历同城单机房、双机房、数次扩容机房之后，我们在2017年年初开始做项目规划，然后进行系统设计、技术改造，并在2017年10月完成第一期实施。异地多活架构升级，我们实施得并不算早，但是采用了与同行不同的技术方案：完全在中间件层面做改造，对应用系统完全透明。当然，弹性数据库JED也是实现商城广域分布架构的核心组件。

第6章“机器学习技术”主要介绍京东商城基础架构中的机器学习与知识工程。我个人非常相信：AI = Machine Learning + Knowledge Engineering。机器学习与知识工程会成为新的基础设施、所有应用共享的技术服务。自2016年8月，我和团队一起，积极开展针对商品图片的视觉计算相关研究、开发与应用；并着力建设针对商品数据的京东知识图谱，向上提供Knowledge as a Service优化原有业务并赋能创新产品。JDOS的大规模计算资源调度能力，特别是CPU/GPU统一服务，为机器学习、深度学习、数据挖掘和多模态数据清洗提供了强有力的底层支撑。此外，我们正在研发新一代图数据管理与计算系统——“波特”，旨在将知识图谱塑造为强大的知识计算引擎。很多激动人心的项目，都在积极进行之中。

以上所述这些工作，紧密联系、互相支撑，共同组成了京东商城的技术基础架构，大规模部署于京东多个数据中心的数万台物理服务器上，运行着无数的在线业务，并产生、存储、处理着海量的电商数据。在过去四五年的时间里，在不断迭代的研究、设计、开发、测试、维护、优化、升级的过程中，无论是我个人还是团队里的其他兄弟，都深刻感受到技术本身强大的力量。我们对互联网技术的热爱与憧憬，永远如初。

感谢中国互联网，特别是电商业务的高速发展，感谢京东集团过去几年里梦幻般的发展速度，给了我们这些技术从业者最好的舞台。感谢我们的家人、公司领导与同事的大力支持。最想感谢的，是奋斗在第一线的所有京东研发人员！

本书撰写在日常工作之余，时间仓促，不准确或遗漏之处在所难免，欢迎各位读者的批评与反馈。里面所介绍的各个项目或者系统，仍然在持续建设之中，后续的新成果，我们会通过各种方式与本书的读者分享和交流。

刘海锋

京东商城总架构师、基础架构部负责人

京东商城基础架构部是京东商城的一级部门，专注于核心基础技术的自主研发与工程实施，涉及的技术有数据中心集群管理、数据库系统与分布式存储、电商中间件技术、商城整体架构提升、机器学习与知识工程，为618和双１１大促作强有力的技术支撑，是京东商城的技术基石。

第1 章

容器集群技术

1.1 概述 3

1.2 JDOS 1.0：“胖容器”时代 3

1.3 JDOS 2.0：新一代应用容器引擎 9

1.4 JDOS 3.0：服务融合平台 15

1.5 JDOS 4.0：弹性数据计算 18

1.6 总结 22

第2 章

数据库技术

2.1 发展历程 25

2.2 BinLake日志订阅服务 27

2.3 弹性数据库 33

第3 章

分布式存储技术

3.1 JFS：京东文件系统 47

3.2 JIMDB：内存是新的磁盘 52

3.3 FBase：大表存储 60

3.4 Container File System 66

第4 章

中间件技术

4.1 服务框架 75

4.2 消息队列 88

4.3 JMQ复制技术解析 101

4.4 CallGraph：分布式服务跟踪系统 112

第5 章

整体架构升级

5.1 ForceBot ：全链路军演机器人 125

5.2 异地多活 133

第6 章

机器学习技术

6.1 基于机器学习的商品数据治理 145

6.2 智能分单 155

6.3 列表页排序 156

6.4 语音识别与客服导航 159

6.5 商品上新助手 161