亿级流量网站架构核心技术

　　序1
　　开涛勤奋好学又乐于分享，他很早就深读了不少开源框架源码，吃透了内核技术，又非常喜欢看技术大侠们的分享，不断与同行交流，并学以致用，一开始参加工作就站在了较高的起点上，所以往往比同龄人做系统更加有信心，成果更加突出。他感恩于开源和分享，也践行着开源分享之路，每次埋头探索之后都有细心总结，有博客时写博客，有微信公众号时发公众号，把学到的和实践总结出来的，都无私分享出来。
　　网站是直接面对广大客户的，是公司的门户，必须快速响应，必须持续可用，必须抗得住洪峰。任何一个网站的发展过程中都出现过问题，影响客户体验和商业利益，公司业务规模越大，网站出现问题的损失越大。作者进入京东后，花了不少精力从事了“永不消失的网站”建设工作。作者和同事一起，克服了一个又一个的难题，将口号变成了现实。
　　本书高屋建瓴，抓住了大型高并发网站设计的核心，从设计原则，到高性能、高吞吐量、高可用的系统设计，到高灵敏的监控系统构思、再到应急方案的制定，不失细节，又不拘泥于细节。相比其他已出版的关于大型网站的架构类的书籍，此书更加贴近实战，追求实用，所有内容来自于实战，文章内容也是与同道和网友们互动后改进的，本书也没有那些为了构建一个“完整的体系”而只起到填充作用的段落。此书特别适合那些快速成长型企业网站的建设者，互联网行业的研发人员，对较大规模网站的重构也有借鉴意义，看这本书可以少走些弯路，少踩些坑，其中的策略和技术许多可以直接拿来用，从而节省时间。作为本书的第一批读者，发现这本书的内容组织上兼具工具书的特点，没有严格的前后依赖，可以按章节顺序阅读，也可以随机选取中间的一章。文中公布了作者的联络方式，有问题能方便地交流。最后，希望这本书不要成为一个网站架构分享的终结者，希望有更多同学加入到探索和分享的队伍中来，不断克服新的挑战，分享更多新成果。
　　京东商城副总裁、京东Y事业部负责人于永利
　　

 序2
　　我们的互联网开发者都曾经有过这样的经验。搭建一个设计精良，功能丰富的网站并不是一个高不可攀的事情。但能够支持巨大的流量而运行自如就不是一件容易的事情了。可是，当你拥有《亿级流量网站架构核心技术》时，这一切又变得那么轻松。
　　《亿级流量网站架构核心技术》一书详细地阐述了开发高并发高可用网站的一系列关键原则问题。就如何实现系统高可用，流量高并发进行了深刻剖析。本书例举了大量的真实应用案例，帮助读者深入了解。并且使得枯燥的说教变得生动，活泼。
　　本书作者长期服务于京东研发的第一线，拥有丰富的软件开发经验。秉持着对技术的热爱，为互联网开发者奉献自己的心路历程。希望他的读者能够从这本书中受益。
　　京东集团首席技术顾问翁志
　　

 序3
　　经历过双11和618的同学都知道，在大促时如何保证系统的高并发、高可用是非常重要的事情。因此在备战大促时，有些通用原则和经验可以帮助我们在遇到高并发时，构建更可用的系统，如限流、降级、水平扩展和隔离解耦等。通过这些原则可以在流量超预期时，很好地保护系统，避免冲击导致的系统不可用。
　　以前京东也遇到过一些高可用问题，如超时设置不合理导致系统崩溃；限流措施不到位，导致负载过高时系统崩溃；解耦不彻底，导致某个服务挂掉时所有依赖服务受影响等。这些都是在开发和运维系统中很常见的问题，只要开发人员在开发系统时注意下这些点就可以很好地避免。书中的高可用部分可以很好地帮助读者解决这些问题。
　　也经常有人讨论如何提升系统性能，最直接的解决方案是扩容，或通过如加缓存来提升系统并发能力，或使用队列进行流量削峰，也可以使用异步并发机制提升吞吐量或者接口性能等。这些技术老生常谈，并不新鲜，但很实用，大家在实现高并发系统时经常会遇到。书中的高并发部分可以帮助读者理解和使用这些技术。
　　这本书还有一部分介绍实战案例，其中包含了京东0级系统“商品详情页”和“商品详情页统一服务”系统，这两个系统每天承载了京东几十亿的流量，书中深入讲解这两个系统的核心技术，还通过案例详细介绍如何使用OpenResty设计和开发高性能Web应用，值得认真阅读。
　　本书最大的特点是实用，书中的原则和经验是在实战中总结和进化出来的。市面上系统化地介绍高可用和高并发的文章并不多，成体系的就更少了，很多都是散落在网络上。开涛是京东优秀的架构师，有很强的架构抽象能力、扎实的编程基本功和丰富的实战经验，他将这些原则整理成体系，而且加了很多案例，相信可以很好地帮助读者学习和使用这些原则，让读者读完此书后能落地到实际项目中。
　　京东集团架构师吴博
　　

 序4
　　大型互联网业务需要持续建设网站系统并通过PC、移动等各种终端来与用户进行交互。大流量网站架构如何支持高并发访问并且保证高可用性，这是一个持久的、极具挑战的技术话题。毫不夸张地说，无数互联网行业的工程师为之奋斗。
　　开涛是京东优秀技术人才的典型代表。他从研发一线做起，脚踏实地成长为核心架构师。他所著《亿级网站架构核心技术》一书，分享高可用与高并发网站构建技术，干货满满，特点鲜明。
　　第一，理论与实践结合。本书不仅总结出一系列技术方法论，而且配合真实的案例，娓娓道来，深入浅出。读者可以直接运用这些实用技术到自己的日常工作中。
　　第二，深度与广度兼具。本书选题极具针对性，专注于高可用与高并发两方面技术实践，每个方面均详解一系列技术细节。
　　第三，技术与业务并重。开涛并没有纯谈技术，而是围绕商品详情页—京东重要的业务产品之一，来展开更进一步的实践经验分享，给读者从业务需求到技术架构的完整视图。
　　第四，新兵与老将咸宜。无论是第一年的软件工程师，还是工作多年的资深人士，均可从本书中受益。
　　我个人强烈推荐此书。相信开涛的作品不会让大家失望。
　　京东商城总架构师、基础平台负责人刘海锋
　　

 序5
　　去年年底我拿到本书的电子版，受邀为其写书评。全书篇幅很长，打开修订视图后，看到开涛在即将出版之前仍然在不断的补充素材、示例，推敲着词句。在读到其中的某个部分的时候，我联想到当时工作中正在做的一个优化，还跟他详细的讨论过，他想把这个方案也补充进去作为示例。我说，内容已经够翔实了，还嫌书不够厚吗？
　　是的，开涛恨不得在这本书中，一股脑地告诉大家他所在领域中所学到和实践的知识。写书是一个吃力还不一定能讨好的活儿，很佩服他居然能耐心写了这么多（还有很多限于整书篇幅，链接到他的博客和公众号上的扩展阅读内容）。我看到了作者的诚意。
　　全书前半部分我是利用地铁上的时间看的，虽然内容我比较熟悉，但想在看书的同时如果能提前发现一些错误就更好了，看得极慢。不过，除了一些笔误之外也没发现什么硬伤。后来假期拖延症犯了，答应的书评还迟迟没有写完。后半部分就快速看过。尤其是第四部分案例，差不多就是开涛自己之前的工作内容，这些或多或少的都通过其他渠道看过了。
　　开涛结合自己的工作内容，以及相关上下游依赖系统中的各种方案、架构思想，通过自己的思考和归类总结写成本书。其中不仅有很多京东的中前端的架构实践和技术，还有作者在工作过程中用到的很多技术细节甚至代码。第二、三部分比较详细和系统地说明了高可用、高并发互联网应用的常用架构思想和设计方法，并配合不同的场景进行举例阐述，比较适合对此已经有了一些经验的读者。针对一些常见软件和框架的细节使用说明，以及提供很多代码的行文风格，也许能满足那些想立即动手实践的读者。
　　架构讲究权衡和取舍，但是前提之一是尽可能在多个相关领域的技术知识层面有经验，因此架构也很重视细节，需要对很多因素有充分思考和权衡，才有取舍。读者在阅读本书的过程中，关注点如果是各种架构方法，则需要注意作者描述的适用场景。如果关注点是各种具体的技术细节，也不要忘记思考背后所体现的架构思想。实际的工作中，很多方案是若干架构方法和技术的综合运用，并且随着业务或场景的变化而不断调整的，不要拘泥。
　　突然想到了倚天屠龙记中张无忌向张三丰学太极剑一节，最后张无忌成功忘记了所有的招式。对于武功高手来说，最后都是要融会贯通，形成自身体系的，不要被特定的招式所束缚。学习架构，也不外乎是吧。
　　京东商城—交易平台架构师肖飞
　　

 序6
　　动起来
　　开涛是个勤奋的写手，写方案，写代码，写分享，孜孜不倦。对于大多数软件开发和设计人员来说，写作不是一件容易的事。因为写出来并不是给自己看的，是要给同行们看。技术人员一方面对好的技术追求若渴，另一方面又天然地用批判和挑剔的眼光看同行的作品，算是鲁迅先生的同道吧。也正因为如此，开涛为此书内容的质量下了不少功夫。
　　开涛的职业生涯从空中网开始，2014年加入京东，一头扎进了超0级系统的建设过程中，京东商城商品详情页改版、商品详情页统一服务规划与落地。这些系统代表着京东的形象，代表着京东技术团队的形象（开涛也是高颜值）。这些系统必须能抗峰值、不掉线、响应快，随着业务量的猛增，预期的瓶颈很快会到来，这次关键的系统改版也是从这些挑战开始，后来也就有了“永不消失的单品页”，也就有了这本书中的案例和用心总结。
　　作者停下开发的脚步，通过思考和总结，把动态的实践静止到了纸张上，给大家带来了精彩，又似跃然纸上，愿各位读者能够把这些发生在某个历史瞬间的实践总结动态地运用到现实的开发实践中。也期望作者可以开放群或者公众号，邀请技术专家进来，与读者进行交流，动起来。
　　京东商城架构师林世洪
　　2016年12月
　　

 序7
　　开启探索之旅，感受技术的魅力
　　近年来，中国的互联网产业正在以前所未有的速度迅猛发展。而技术在业务发展中所扮演的角色日益重要，随着各个业务形态的发展涌现出了许多技术应用上的成功案例和先进技术的研究成果。而作者在本书中则通过对工作中的探索和总结来将系统高可用这个神秘莫测的面纱揭开，让对此有兴趣的人得以窥其真容。
　　在以往的交流和面试过程中，大多数的研发人员在其所研发的系统中很少有机会或确实不需要和繁多的上下游系统、海量的业务数据、复杂的部署环境以及极端灾难（如机房断电、光纤损坏）打交道，因此也没有契机和计划去详细了解、研究系统的高可用，对于系统高可用的理解和实践大多停留在理论认知和个人尝试阶段，很难有机会应用到解决实际业务问题上，也就很难形成自己技术和理念上的一个积累。而等到终于有机会开始在海量数据和高并发场景下一展身手的时候，又常常会因为曾经没有过系统的学习和经验积累而在设计系统、容灾策略、解决问题的过程中艰难前行。本书则通过浅显易懂的理念解读和实际案例将系统高可用相关的系统设计原则、系统限流、降级措施等“兵法三十六计”以非常直白的方式呈现给了大家。让我们对于一些常见的高并发业务场景下的系统设计原则、高可用策略有了清晰的认识和思路的拓展。无论是刚刚接触编程的学生还是已身经百战的一线研发人员都可以从书中得到很多启发，也许只是一个配置的改变、一行逻辑的优化、一个策略的调整都有可能让我们的系统可用性登上新的台阶。
　　京东的网站系统走过了从静态到动态、从动态到动静结合、从对DB的强依赖到多级缓存、从重启服务器到自如切换流量、从对503的恐惧到从容应对问题、从修改代码应对异常到修改配置轻松搞定的系统演变历程。当一个系统的业务体量达到可以引起系统性能和健壮性发生退变的时候，伴随着系统问题到来的更是研发人员自身能力提升和宝贵经验积累的好时机。与其将问题用重启应用和“无法解释的诡异问题”来掩盖，不如把问题的根源挖掘出来。如果挖掘得足够深入，一切问题都是可解决的。书中使用的技术和总结的经验也许无法解决书中业务场景之外的问题，但这也恰恰是技术的魅力所在。没有一种技术和经验可以作为系统的万能解药来帮助我们一劳永逸的避免掉所有隐患，但我们可以通过对思想的接纳和消化来丰富我们的知识体系，让我们成为一个有思想的研发人员。阮一峰曾经在他的书中对于“如何变有思想”做过解释，我觉得非常适合用在研发人员的身上。研发人员的思想是什么？当你对一个需求、对一个业务形态或者对一个问题有自己的观点见解，那你就是有思想的。你的观点越多就越可能接近问题的本质，那么你的思想就越深刻和丰富。虽然你的观点不一定是事实也不一定是正确的，但作为研发人员如果有了通过不断探索、质疑、证明观点的能力之后，那么也就有了透析问题、解决问题的能力。那么在面对一个看似简单的需求或者业务时，也许你可以看得更透彻，将系统设计得更适用更合理，当你遇到书中提及的问题时也可以开始轻松应对。
　　我想，阅读并了解书中对于系统高可用这个领域的介绍一定会让你乐在其中。虽然你可能会有些疑惑和不解，但作为一个技术人对于技术的追求和探索不就是应该这样吗？最后，我邀请你一起踏上这个对于系统高可用的探索之旅，来感受技术的魅力。
　　京东商城研发总监韩笑跃
　　

 序8
　　大规模分布式系统的构建，面临很多的困难和问题，但是请记住，对架构师而言，不管我们要解决多少困难，最重要的是要保证系统可用，无论任何环境、任何压力、任何场景，系统都要可用，这是我们的第一要务。在保证系统高可用的前提下，大型分布式系统面临的最突出的三大问题就是：如何应对高并发、如何处理大数据量、如何处理分布式带来的一系列问题。这也是很多一线架构老司机们的感悟和共识。
　　由于一本书的容量有限，不可能面面俱到，因此本书集中火力，系统、详细、专业地讲述了：大型分布式系统如何保证高可用性，以及如何应对高并发这两个大方面。涉及到很多技术和细节。比如用来保证高可用的：负载均衡和反向代理、隔离、限流、降级、超时与重试等；又比如用来处理高并发的：应用缓存、多极缓存、连接池、异步并发、队列处理等。对很多朋友来说，这里面很多知识都是久闻其名，而不知其然，更不知其所以然的，学习本书正好能弥补大家在这些方面的知识短板。
　　作者以匠人的情怀，把每个方面从理论到应用、从技术本质到具体实现都讲得透彻明了，以平实而不失激情的风格娓娓道来，再辅以实战经验的扩展，不单单让读者学习到具体的技术和解决问题的思路，更是给出了应对问题的具体解决方案，基本上可以直接把这些方案拿到实际项目中直接使用。
　　尤为难得的是：本书还结合实际的大型应用——京东的商品详情页的实现，详细讲解了这些技术和方案在真实场景的组合应用，以更好的让知识落地。本书先是介绍了京东商品详情页的基本功能、技术架构的发展以及架构设计，当然还有很多实际的经验和体会，以“遇到的坑和问题”的面貌出现；然后详细地讲述了京东商品详情页的服务闭环实践。
　　为了更好地讲述京东商品详情页的具体实现，作者先讲述了实现中使用的基本技术——OpenResty，然后再详细地讲解如何使用OpenResty来开发商品详情页，里面涉及好多具体而细化的点，都是实际开发中会用到的，值得去认真体会。这样真实而详细地讲述这种大型系统的实现，绝对一手的技术资料，是具有极大的参考价值的。
　　其实，市面上讲述大型分布式架构的书很多，但基本上都停留在理论和知识的层面，看上去都很对，很“高大上”，但就是落不了地，不能很好地跟实际应用进行结合，从而导致学习的效果欠佳。而本书很好地解决了这个问题，不仅深入浅出地讲述了各种保障高可用，以及处理高并发的技术和方案，并理论联系实际，采用京东商品详情页的具体实现这个实际案例，来综合展示了这些技术的应用，从而加深大家的理解和领悟，以更好地把这些技术和方案应用到自己的实际项目中去。
　　事实上，像本书这样既有详尽的技术学习，又有真实、典型案例讲述的好书，在市面上是不多见的，毕竟真正拥有这种大型系统完整架构经验的人并不多，能讲明白的更少。本书作者恰好就是那极少数技术、经验和知识传授俱佳的牛人之一，这是读者之幸。仔细阅读完本书，让人有一种醍醐灌顶的顿悟，掩卷长叹“原来如此啊”。
　　坦率地说，本书不是写给初学者的，对于有一定的开发经验，甚至是架构设计经验的朋友，能从本书中收获更多。但我仍然确信，不管是富有经验的架构师，还是想要学习架构知识的入门者，仔细、深入阅读本书，就一定会有收获。对于暂时不太理解的内容，建议反复阅读，或者隔段时间再看，并不断深入思考，最好是能结合实际的项目，把这些知识都应用上去，学以致用，这也不枉费作者的一番心血。
　　细想起来，认识作者八年多了，眼看着作者走出校园步入职场，从职场新兵，到成长成为在京东领导着上百人团队的技术大牛，仿佛一切都在昨天，让人不由不感慨时间如白驹过隙。在我眼中，作者依然是那帅气、阳光、聪明而又略微有些腼腆的大男孩形象；喜欢研究技术，特别好学、善思、勤奋，且积极在实际工作中应用所学的知识；喜欢分享技术，常年坚持撰写技术博文，拥有不少忠实粉丝，在京东内部，也是特别受欢迎的讲师之一。另外告诉大家一个小秘密，作者爱好摄影，绝对专业级水准哦。
　　《研磨设计模式》作者陈臣

　　张开涛，现就职于京东，“开涛的博客”公众号作者。写过《跟我学Spring》《跟我学Spring MVC》《跟我学Shiro》《跟我学Nginx+Lua开发》等系列教程，博客现有1000多万访问量。

第1部分 概述 / 1
1 交易型系统设计的一些原则 / 2
1.1 高并发原则 / 3
1.1.1 无状态 / 3
1.1.2 拆分 / 3
1.1.3 服务化 / 4
1.1.4 消息队列 / 4
1.1.5 数据异构 / 6
1.1.6 缓存银弹 / 7
1.1.7 并发化 / 9
1.2 高可用原则 / 10
1.2.1 降级 / 10
1.2.2 限流 / 11
1.2.3 切流量 / 12
1.2.4 可回滚 / 12
1.3 业务设计原则 / 12
1.3.1 防重设计 / 13
1.3.2 幂等设计 / 13
1.3.3 流程可定义 / 13
1.3.4 状态与状态机 / 13
1.3.5 后台系统操作可反馈 / 14
1.3.6 后台系统审批化 / 14
1.3.7 文档和注释 / 14
1.3.8 备份 / 14
1.4 总结 / 14
第2部分 高可用 / 17
2 负载均衡与反向代理 / 18
2.1 upstream配置 / 20
2.2 负载均衡算法 / 21
2.3 失败重试 / 23
2.4 健康检查 / 24
2.4.1 TCP心跳检查 / 24
2.4.2 HTTP心跳检查 / 25
2.5 其他配置 / 25
2.5.1 域名上游服务器 / 25
2.5.2 备份上游服务器 / 26
2.5.3 不可用上游服务器 / 26
2.6 长连接 / 26
2.7 HTTP反向代理示例 / 29
2.8 HTTP动态负载均衡 / 30
2.8.1 Consul+Consul-template / 31
2.8.2 Consul+OpenResty / 35
2.9 Nginx四层负载均衡 / 39
2.9.1 静态负载均衡 / 39
2.9.2 动态负载均衡 / 41
参考资料 / 42
3 隔离术 / 43
3.1 线程隔离 / 43
3.2 进程隔离 / 45
3.3 集群隔离 / 45
3.4 机房隔离 / 46
3.5 读写隔离 / 47
3.6 动静隔离 / 48
3.7 爬虫隔离 / 49
3.8 热点隔离 / 50
3.9 资源隔离 / 50
3.10 使用Hystrix实现隔离 / 51
3.10.1 Hystrix简介 / 51
3.10.2 隔离示例 / 52
3.11 基于Servlet 3实现请求隔离 / 56
3.11.1 请求解析和业务处理线程池分离 / 57
3.11.2 业务线程池隔离 / 58
3.11.3 业务线程池监控/运维/降级 / 58
3.11.4 如何使用Servlet 3异步化 / 59
3.11.5 一些Servlet 3异步化压测数据 / 64
4 限流详解 / 66
4.1 限流算法 / 67
4.1.1 令牌桶算法 / 67
4.1.2 漏桶算法 / 68
4.2 应用级限流 / 69
4.2.1 限流总并发/连接/请求数 / 69
4.2.2 限流总资源数 / 70
4.2.3 限流某个接口的总并发/请求数 / 70
4.2.4 限流某个接口的时间窗请求数 / 70
4.2.5 平滑限流某个接口的请求数 / 71
4.3 分布式限流 / 75
4.3.1 Redis+Lua实现 / 76
4.3.2 Nginx+Lua实现 / 77
4.4 接入层限流 / 78
4.4.1 ngx_http_limit_conn_module / 78
4.4.2 ngx_http_limit_req_module / 80
4.4.3 lua-resty-limit-traffic / 88
4.5 节流 / 90
4.5.1 throttleFirst/throttleLast / 90
4.5.2 throttleWithTimeout / 91
参考资料 / 92
5 降级特技 / 93
5.1 降级预案 / 93
5.2 自动开关降级 / 95
5.2.1 超时降级 / 95
5.2.2 统计失败次数降级 / 95
5.2.3 故障降级 / 95
5.2.4 限流降级 / 95
5.3 人工开关降级 / 96
5.4 读服务降级 / 96
5.5 写服务降级 / 97
5.6 多级降级 / 98
5.7 配置中心 / 100
5.7.1 应用层API封装 / 100
5.7.2 配置文件实现开关配置 / 101
5.7.3 配置中心实现开关配置 / 102
5.8 使用Hystrix实现降级 / 106
5.9 使用Hystrix实现熔断 / 108
5.9.1 熔断机制实现 / 108
5.9.2 配置示例 / 112
5.9.3 采样统计 / 113
6 超时与重试机制 / 117
6.1 简介 / 117
6.2 代理层超时与重试 / 119
6.2.1 Nginx / 119
6.2.2 Twemproxy / 126
6.3 Web容器超时 / 127
6.4 中间件客户端超时与重试 / 127
6.5 数据库客户端超时 / 131
6.6 NoSQL客户端超时 / 134
6.7 业务超时 / 135
6.8 前端Ajax超时 / 135
6.9 总结 / 136
6.10 参考资料 / 13